Nem a paraméterháborúban akar nyerni az Nvidia új AI-modellje
Az AI-agentek elterjedése magával hozta, hogy a modellfejlesztők egyre többen fordulnak a kisebb, helyben futtatható modellek felé, a Meta után az Nvidia is hasonló megoldást jelentett be a napokban.
Chipek szállításával már óriási vagyonra tett szert az AI iparág platformjait működtető hardvermegoldások elsődleges globális szállítója, az Nvidia, mely újabb lépést tesz afelé, hogy a szoftveres téren is erősítse piaci pozícióját. Jensen Huang vezérigazgató már több hónapja hangot adott annak, hogy a cég a nyílt platformban hisz, egyben a nyílt forráskódú szoftverek kínai dominanciájára is figyelmeztette a piaci szereplőket. Huang szerint az amerikai-kínai feszültség miatt fennáll annak veszélye, hogy az USA-t felkészületlenül érinti majd, ha a kínai szoftverek meghódítják a világot.
A vállalat a napokban bejelentette a Nemotron 3.5 Lightning modellt, meglehetősen közel a Meta saját új nyílt forrású modellje, a Muse Glimmer bemutatójához, de a hasonlóságok itt nem állnak meg. A Glimmerhez hasonlóan az Nvidia új modellje is könnyűsúlyúnak számít: a 30 milliárd paraméteres modell egyik legfontosabb újdonsága, hogy a teljes modellméret ellenére egyszerre mindössze mintegy 3 milliárd paraméter aktív, így jóval kisebb számítási kapacitással működtethető. A kisebb aktív paraméterszám gyakorlati előnye, hogy a modell helyben is futtatható, akár egyetlen GPU-val felszerelt hétköznapi személyi számítógépen.
IT munkaerőpiac: nincs visszaút 2022-be Leépítések és elpárolgó vidéki lehetőségek jellemzik az IT-szektort 2026 nyarán.
Az Nvidia megoldása inkább a sebességre és hatékonyságra lett optimalizálva, nem is próbálja felvenni a versenyt minden benchmarkban a legnagyobb általános célú modellekkel. A Mixture-of-Experts (MoE) architektúrára épített modellt elsősorban hosszú ideig működő, autonóm AI-ügynökök feladataihoz optimalizálták.
Az architektúra Mamba-2, MoE és attention komponenseket kombinál, miközben akár 1 millió tokenes kontextusablakot is támogat. Ez azért fontos, mert az autonóm AI-ügynökök működésük jelentős részében nem összetett következtetést végeznek, hanem nagy mennyiségű kisebb feladatot hajtanak végre: eszközöket hívnak meg, ellenőrzik azok eredményeit, adatokat dolgoznak fel, illetve alügynököket delegálnak, amihez nem feltétlenül szükséges minden alkalommal egy nagyobb, frontier kategóriájú modell használata.
A nyílt forrású modellek előnye, hogy a kutató-fejlesztő közösség és vállalati szereplők szabad hozzáférést kapnak, így módosíthatják és beépíthetik a megoldásokat saját rendszereikbe, ami csökkenti a vendor lock-in kockázatát is. A Nemotron 3.5 Lightningot a cégek ingyen letölthetik és hozzájárulás nélkül tetszés szerint módosíthatják saját céljaiknak megfelelően, a későbbiekben a HuggingFace felületén és az Nvidia oldaláról is.