Biztonsági startupot vásárolt magának az OpenAI
Az AI-fejlesztő nyilvánosságra nem hozott összegért kaparintotta meg magának a Promptfoo-t, mely kifejezetten mesterséges intelligencián alapuló rendszerek tesztelésére és védelmére szánt eszközöket kínál.
A következő évek egyik kulcskérdése az lesz, hogy az iparág mennyire tudja biztonságosan integrálni az AI-ügynököket a valós üzleti folyamatokba, a biztonsági kockázatokat figyelembe véve. Az OpenAI láthatóan már ebben gondolkodik, és egy rendkívül fiatal, 2024-ben alapított startupot vásárolt magának, hogy erősebb védelmet biztosítson a nagy nyelvi modelleket (LLM) érintő online támadások ellen.
A Promptfoo nevű biztonsági cég technológiája az ügylet lezárultával az OpenAI Frontier nevű, AI-ügynököket kínáló vállalati platformjába integrálódik. A Promptfoo platformja automatikus teszteléssel és red-teaming módszerekkel vizsgálja a mesterségesintelligencia-rendszerek sérülékenységeit, emellett képes támadási forgatókönyvek szimulálására, a modellek viselkedésének automatikus értékelésére, valamint a hibák és biztonsági rések azonosítására fejlesztés közben
A Promptfoo-t Ian Webster és Michael D’Angelo alapította kifejezetten olyan eszközök fejlesztése céljából, melyeket vállalatok használhatnak az LLM-ek biztonsági réseinek tesztelésére. A cég jelentése szerint termékeit a Fortune 500-as vállalatok több mint 25%-a használja, és alapítása óta mindössze 23 millió dollárt gyűjtött össze.. A legutóbbi tavaly nyári finanszírozási kör után 86 millió dollárra értékelték a startupot, de az OpenAI nem hozta nyilvánosságra a tranzakció értékét.
Az AI erősokszorozó egy rutinos security szakember kezében Az AI nem csak a fejlesztésre van hatással: új sorozatunkban végignézzük, hogyan hat az informatika más részterületeire.
Mivel egy egyelőre gyerekcipőben járó technológiáról van szó, a kutatók sorra figyelmeztetnek az AI-ügynökökkel kapcsolatos biztonsági kockázatokra. A Gartner tavaly év végén arra hívta fel a figyelmet, hogy az AI-ügynököket kínáló böngészők használata jelenleg még túl nagy kockázat a legtöbb szervezet számára, ha az alkalmazottak kezébe kerülnek.
A feladatokat önállóan ellátó ügynökök új lehetőségeket teremtenek a rosszindulatú felek számára az érzékeny adatokhoz való hozzáférésre vagy a rendszerek manipulálására, mivel valós műveleteket hajtanak végre a felhasználók nevében. Ha egy támadó képes manipulálni egy ilyen rendszert, a következmények jelentősen súlyosabbak lehetnek, mint egy egyszerű chatbot-hibánál. A szakértők egyik legismertebb fenyegetésként a prompt injection típusú támadásokat említik, tehát amikor a támadó utasításokkal befolyásolja a nyelvi modell működését, így az a fejlesztők eredeti szándékával ellentétes műveleteket hajt végre.
A felvásárlás bizonyítéka annak, hogy az élen járó AI-fejlesztőknek bizonyítaniuk kell még ezen a téren, és erősíteni kell az ügyfelek bizalmát azzal kapcsolatban, hogy a kritikus üzleti műveletek során is biztonságosan használható a technológia. A fejlesztők és vállalatok számára azt sugallja az üzlet, hogy az AI-rendszerek esetében a biztonságot már a tervezési fázisban kell beépíteni, és az utólagos védelem gyakran nem elegendő, mivel az autonóm rendszerek gyorsan és nagyléptékben képesek műveleteket végrehajtani. A jövőben a mesterséges intelligencia infrastruktúrájának alapvető részévé válhat a folyamatos biztonsági tesztelés, az automatikus sebezhetőség-vizsgálat és a működés közbeni ellenőrzés.