Micron v nejvýkonnějších systémech pro AI

Není se čemu divit, protože oblast AI se již používá v oblastech jako konverzace, úprava a tvorba textů, umělé fotografie, optimalizace webu a vyhledávání či obchodování na veřejných trzích. K tomu všemu se musela umělá inteligence vytrénovat na reálných datech a následně potvrdit, že výsledek má „hlavu i patu“. Pokud nemáte dostatečný výkon a transakční rychlost, můžete na výsledky čekat i roky.

Na konferenci Supercomputing se prezentovala ukázka řešení demonstrující současné schopnosti a možnosti, do kterého se intenzivně zapojili zástupci společnosti Micron, konkrétně z divize Micron Data Center Workload Engineering.

Vzniklé řešení bylo dílem několika stejně významných stran, a spolu Micronem spojily své síly týmy ze společností WEKA, AMD a Supermicro, aby jako první otestovaly platformy AMD EPYC 4. generace v distribuovaném úložném řešení WEKA určené pro zpracování náročných úloh umělé inteligence.

Vzniklé řešení využívalo to nejlepší z nejmodernějšího hardwaru a softwaru, a pro změření jeho schopnosti zpracovávat náročné pracovní zátěže pro AI byl použit nový benchmark MLPerf vyvinutý pracovní skupinou MLCommons pro podporu strojového učení.

WEKA je řešení pro softwarově definované úložiště, a v nové verzi 4 přináší vyšší škálovatelnost i výkon na uzel, což je nezbytné pro využití výhod systémů nové generace, včetně AI. Celé řešení je postavené na 6 uzlech společnosti Supermicro, na nových systémech AS-1115CS-TNR, které tvoří WEKA cluster. Tyto platformy využívají výhody procesorů AMD EPYC 4. generace spolu s PCIe Gen5. Celý systém je pak propojen pomocí síťových karet NVIDIA ConnectX-6 200Gb a to konkrétně 2 síťovými kartami na uzel a 1 síťovou kartou na klienta.



Jako paměti byly v tomto řešení nasazeny Micron DDR5 DRAM, které poskytují vyšší výkon, propustnost i přenosové rychlosti než předchozí generace DDR4. Použity byly také SSD disky Micron 7450 NVMe postavené na 176vrstvé technologii Micronu s využitím CMOS under Array (CuA). Díky kombinaci těchto technologií poskytují disky vynikající výkon všem aplikacím a minimální dobu odezvy.

Jak to dopadlo?

Testovala se výkonnost FIO u 12 klientů generujících zátěž, aby se změřila maximální propustnost systému, přičemž zátěž byla postupně škálována u všech klientů. Bylo dosaženo rychlosti až 142 GB/s pro čtení 1MB souborů a 103 GB/s pro jejich zápis. Zápisová propustnost je ohromující, pokud vezmeme v úvahu ES schéma kódování 4+2, které WEKA používá. To bylo umožněno extrémně vysokým výpočetním výkonem procesorů AMD EPYC 4. generace a vyšším výkonem nových pamětí Micron DDR5 DRAM.

Při náhodném čtení a zápisu bylo naměřeno až 6,3 milionu IOPS operací při čtení 4KB souborů a 1,7 milionu IOPS operací při jejich zápisu. To potvrdilo vynikající výsledky clusteru i pro zpracování malých náhodných bloků, který byl dosažen pomocí vysokého výkonu a minimální latence SSD disků Micron 7450 NVMe spolu se zaměřením systému WEKA na čtení/zápis malých bloků na NVMe úložiště.