Készül az Nvidia az agentek felturbózására
Az év végén megkezdődhet az Nvidia Groq 3 LPX rendszereinek éles üzeme az első mesterséges intelligencia adatközpontokban, melytől a cég az agentek, elsősorban a kódolást végző rendszerek jelentős gyorsulását várja - ami a modelleket üzemeltető cégek számára is megnyithatja az utat a további monetizációs lehetőségek előtt.
Gőzerővel zajlik az Nvidia új, AI-rendszereket gyorsító Groq 3 LPX rackjeinek a gyártása, ezzel a vállalat eddigi legnagyobb akvizíciója megkezdheti a pénztermelést már az idei évben - jelentette be a chipgyártó óriás hétfőn.
A Groq chipek az Nvidia Vera Rubin rendszereinek kiegészítőjeként működnek majd az adatközpontokban, feladatuk pedig a következtetéses (inference) műveletek válaszidejének drasztikus csökkentése lesz. Ez leginkább bizonyos célfeladatok esetén lehet kritikus szempont (például kódolásnál), ahol az ügyfelek hajlandóak lehetnek prémium árat fizetni a gyorsabb működésért cserébe.
AI agent fejlesztői képzést indít a HWSW! Szeptember 21-én 8 alkalmas, 24 órás gyakorlatorientált online képzést indítunk. Augusztus 26-ig early bird kedvezménnyel lehet jelentkezni!
Az Nvidia tavaly decemberben jelentette be, hogy "nem kizárólagos licencszerződést" kötött az AI chipeket tervező Groq startuppal az assetekhez való hozzáférésre vonatkozóan, illetve szakembereket is átigazol magához. Az ügyhöz közelálló források szerint a chipóriás 20 milliárd dollárt fizetett a Groq eszközeiért és szellemi tulajdonáért.
A kilenc éve alapított Groq elsősorban speciális nyelvfeldolgozó egységéről (LPU, azaz Language Processing Unit) ismert, mely nagy nyelvi modellek gyors, olcsó futtatását teszi lehetővé.
Groq 3 LPU-kból álló Groq 3 LPX rackalapú rendszerek 256 ilyen feldolgozóegységet tartalmaznak majd és a Vera Rubin rackek kiegészítéseként, kvázi azokkal párban alkotnak majd egy rendkívül nagy teljesítményű, komplex rendszert. A gyártó szerint egy ilyen rendszer másodpercenként 3400 token teljesítményre képes, ez a Rubin GPU-k egy wattra jutó token teljesítményének mintegy 35-szöröse.
Az LPU-k egyenként 4 GB, 1200 TB/s sávszélességű SRAM-mal rendelkeznek majd (ez a Vera GPU-k integrált memória-sávszélességének az 55-szöröse), feladatuk pedig nagyon leegyszerűsítve a rendszerek válaszidejének radikális csökkentése lesz.
Jensen Huang, a vállalat vezérigazgatója a cég márciusi fejlesztői konferenciáján közölte, hogy az Nvidia a jelenlegi megrendelés-előrejelzés alapján arra számít, hogy 2027-re egybillió dollár értékben ad majd el Blackwell és Vera Rubin rendszereket, ami duplája a korábbi várakozásoknak. Huang akkor úgy nyilatkozott, hogy a kódolási célú adatközponti kapacitás nagyjából negyede a Groq chipek részére lesz allokálva az időszakban.