V dnešním rychlém světě čelí manažeři IT a dat náročnému úkolu – urychlit datovou analýzu a umělou inteligenci a zároveň udržet náklady v rozumných mezích. Proto letos Dell přišel s Dell Data Lakehouse, řešením na klíč, jehož základem je úložiště Dell kompatibilní s S3 a výkonný dotazovací engine Starburst. Ten poskytuje mimořádně rychlý přístup k distribuovaným datům bez ohledu na jejich zdroj a zvládá vyřizovat vysoký počet dotazů současně. Nyní Dell představuje také novou funkci Warp Speed v Dell Data Lakehouse pro úložiště Dell kompatibilní s S3.
„Kompromis mezi rychlostí a náklady může být drahý na obě strany. Zavedení platformy typu data lakehouse přináší výhody z hlediska výkonu při nižších nákladech, ale datoví inženýři a IT týmy musí stále řešit, která data optimalizovat a ukládat do mezipaměti a která ponechat v data lakehouse v nezměněné podobě,“ říká Vrashank Jain, produktový manažer pro data management ze společnosti Dell Technologies.
Warp Speed je nová funkce v Dell Data Lakehouse, která se autonomně učí vzorce dotazů a identifikuje data, k nimž je přistupováno často. Na základě toho optimalizuje indexy a mezipaměť, zatímco data s nižší četností dotazů ponechává tam, kde jsou. Urychluje vyřizování dotazů a zároveň udržuje náklady pod kontrolou. Díky funkci Warp Speed může stejný cluster provádět dotazy v Data Lakehouse 3x až 5x rychleji, aniž by koncový uživatel musel formulaci dotazu jakkoli upravovat. Dokáže také pomoci snížit velikost clusteru až o 40 %.
Jednodušeji řečeno, zákazníci mohou provádět více dotazů na velkých clusterech nebo stejný objem dotazů na menších clusterech.
Zrychlení Data Lakehouse: Autonomně indexuje data lakehouse a na vyžádání akceleruje zkušební datové sady bez nutnosti zapojení datového inženýrství.
Tvorba vysoce výkonných přehledových panelů: Rychlejší procházení TB až PB dat, aniž by se změnil komfort pro koncové uživatele. Stejné dotazy nyní probíhají rychleji.
K dosažení mimořádného výkonu využívá Warp Speed kombinaci akceleračních technologií:
Autonomní indexování: Tato funkce vytváří vhodné typy indexů (bitová mapa, slovník, strom) přizpůsobené jednotlivým datovým blokům, což urychluje operace jako spojování, filtrování nebo vyhledávání. Indexy jsou kvůli rychlejšímu přístupu uloženy ve výpočetních uzlech na SSD discích.
Inteligentní ukládání do mezipaměti: Inteligentní mezipaměť je proprietární sloupcová bloková mezipaměť SSD, která optimalizuje výkon na základě frekvence užívání dat. Ukládání do mezipaměti eliminuje zbytečné prohledávání tabulek a umožňuje opakované užití dat pro různé dotazy, čímž šetří náklady na výpočetní prostředky.
Od července je funkce Warp Speed k dispozici všem zákazníkům Dell Data Lakehouse a bude podporován u těch, kteří jako data lakehouse užívají úložiště kompatibilní s Dell S3. Licence softwaru se nemění. Konfigurace výpočetních uzlů bude upravena – součástí budou disky SSD, které společnost Dell důkladně otestovala, aby vyhovovaly nárokům indexace a mezipaměti Warp Speed.
Zrychlení inovací v éře umělé inteligence
Platforma Dell Data Lakehouse s technologií Warp Speed umožňuje zákazníkům získávat poznatky ze svých dat rychleji a efektivněji než kdykoli předtím. Warp Speed umožňuje naplno využít potenciál platformy Dell Data Lakehouse a otevírá cestu k rychlejším a rozpočtově nenáročným inovacím a růstu v éře umělé inteligence.
Zájemcům je k dispozici Demo centrum Dell, kde mohou prozkoumat Dell Data Lakehouse s laboratořemi připravenými odborníky společnosti Dell Technologies.