Könnyebben átláthatják költségeiket a ChatGPT Enterprise ügyfelek
Abból is látszik, hogy a generatív mesterséges intelligencia kezd valódi vállalati infrastruktúrává válni, hogy a költségek kontrollja stratégiai kérdéssé vált a szervezetek körében - erre reagál az OpenAI is.
Első pillantásra egyszerű adminisztratív frissítésnek tűnhet, hogy az OpenAI a ChatGPT Enterprise ügyfelek számára új vállalati funkciókat jelentett be, melyekkel mérni, szabályozni és korlátozni tudják az AI-használat költségeit. A napokban már használatba vehetővé válnak a részletesebb analitikák és a kredithasználati limitek beállítása. Az új felületen keresztül a vállalatok adminjai információkat kapnak a felhasználónkénti fogyasztásról, és szorosabban követhetik, hogy mely modellek mennyi erőforrást használnak.
A kreditköltések korlátozását szolgálja, hogy az adminok csoportokra vonatkozóan, egyes esetekben egyéni kivételekkel limiteket állíthatnak be, miközben a szervezet dolgozói is követhetik saját felhasználásukat, esetleg plusz krediteket igényelhetnek. Az OpenAI API-n keresztül is elérhetővé teszi ezeket az adatokat, így azok integrálhatóak a vállalati pénzügyi és monitoring rendszerekbe.
Az új eszközök bevezetése leginkább arra az igényre reagál, hogy az elmúlt években a szervezetek számára fontos kérdéssé vált, hogy mennyibe is kerül az annyi, ha AI-eszközök használatáról van szó. Míg korábban az alkalmazottakat minél aktívabb AI-használatra ösztönözték a vezetők a produktivitás jegyében, időközben kiderült, hogy a költségek gyorsan el tudnak szabadulni.
A nagy nyelvi modellek tokenalapon történő árazása miatt minden lekérdezés pénzbe kerül, és bár az egyszerű chatfunkciók viszonylag olcsók, de az egyre népszerűbb AI-ügynökök és kódoló asszisztensek nagyságrendekkel több számítási kapacitást fogyasztanak, ami miatt több nagyvállalat is abban a helyzetben találta magát, hogy tudatosabb használatot kell követeljen a dolgozóktól.
Az elemzők közül többen párhuzamot vonnak azzal a jelenséggel, hogy a 2010-es évek elején a vállalatok szinte korlátlanul költöttek felhőszolgáltatásokra, de idővel optimalizálni kellett a cloud-költségeket, ebből megszületett a FinOps szemlélet. Hasonló történik most az AI-jal is: szükséges lett mérni a fogyasztást és optimalizálni a költségeket, hogy elkerülhetővé váljon a tokenek felesleges égetése.
Mindezt a rendkívül tőkeigényes OpenAI-nak is saját előnyére tudja fordítani: ha a vállalatok részletes használati analitikát, limiteket és felhasználás-eloszlás követést kapnak, akkor jobban tudnak tervezni költéseikkel, és nagyobb eséllyel válnak stabil előfizetőkké, lényegében kiszámíthatóbb bevételt jelentenek az AI-fejlesztő számára is. A piacon jelenleg látható, hogy a cégek túlhasználják az AI-t, majd hirtelen csökkentik a költségeiket, esetleg lemondják a szolgáltatást a magas költségek miatt. Az elemzések továbbá az OpenAI számára is értéket jelentenek, mert láthatóbbá válik, hogy mely funkciók hoznak értéket a szervezetek számára, és hol történik felesleges használat.