Nem a paraméterháborúban akar nyerni az Nvidia új AI-modellje

Chipek szállításával már óriási vagyonra tett szert az AI iparág platformjait működtető hardvermegoldások elsődleges globális szállítója, az Nvidia, mely újabb lépést tesz afelé, hogy a szoftveres téren is erősítse piaci pozícióját. Jensen Huang vezérigazgató már több hónapja hangot adott annak, hogy a cég a nyílt platformban hisz, egyben a nyílt forráskódú szoftverek kínai dominanciájára is figyelmeztette a piaci szereplőket. Huang szerint az amerikai-kínai feszültség miatt fennáll annak veszélye, hogy az USA-t felkészületlenül érinti majd, ha a kínai szoftverek meghódítják a világot.

A vállalat a napokban bejelentette a Nemotron 3.5 Lightning modellt, meglehetősen közel a Meta saját új nyílt forrású modellje, a Muse Glimmer bemutatójához, de a hasonlóságok itt nem állnak meg. A Glimmerhez hasonlóan az Nvidia új modellje is könnyűsúlyúnak számít: a 30 milliárd paraméteres modell egyik legfontosabb újdonsága, hogy a teljes modellméret ellenére egyszerre mindössze mintegy 3 milliárd paraméter aktív, így jóval kisebb számítási kapacitással működtethető. A kisebb aktív paraméterszám gyakorlati előnye, hogy a modell helyben is futtatható, akár egyetlen GPU-val felszerelt hétköznapi személyi számítógépen.

Az AI ára Fizetnek a befektetők, fizetnek a felhasználók, és nagy árat fizet az IT munkaerőpiac is. Vékony jégen járunk. Itt a 85. kraftie adás.

Az Nvidia megoldása inkább a sebességre és hatékonyságra lett optimalizálva, nem is próbálja felvenni a versenyt minden benchmarkban a legnagyobb általános célú modellekkel. A Mixture-of-Experts (MoE) architektúrára épített modellt elsősorban hosszú ideig működő, autonóm AI-ügynökök feladataihoz optimalizálták.

Az architektúra Mamba-2, MoE és attention komponenseket kombinál, miközben akár 1 millió tokenes kontextusablakot is támogat. Ez azért fontos, mert az autonóm AI-ügynökök működésük jelentős részében nem összetett következtetést végeznek, hanem nagy mennyiségű kisebb feladatot hajtanak végre: eszközöket hívnak meg, ellenőrzik azok eredményeit, adatokat dolgoznak fel, illetve alügynököket delegálnak, amihez nem feltétlenül szükséges minden alkalommal egy nagyobb, frontier kategóriájú modell használata.

A nyílt forrású modellek előnye, hogy a kutató-fejlesztő közösség és vállalati szereplők szabad hozzáférést kapnak, így módosíthatják és beépíthetik a megoldásokat saját rendszereikbe, ami csökkenti a vendor lock-in kockázatát is. A Nemotron 3.5 Lightningot a cégek ingyen letölthetik és hozzájárulás nélkül tetszés szerint módosíthatják saját céljaiknak megfelelően, a későbbiekben a HuggingFace felületén és az Nvidia oldaláról is.