Cloudflare: A botok forgalma lekörözte az emberekét
A Cloudflare és más infrastruktúra-szolgáltatók adatai egyaránt azt mutatják, hogy a crawlerek, indexelők és AI-botok aktivitása gyors ütemben emelkedik, és sikerült átlépni egy kritikus mérföldkövet.
Az automatizált forgalom elképesztő tempóval növekszik a neten annak köszönhetően, hogy a robotok már nem csak indexelik vagy kaparják az adatokat, de aktívan használják is azokat. A generatív mesterséges intelligencia korszaka előtt az internet forgalmának körülbelül 20%-át tették ki a botok, így ez a folyamat csak gyorsul a különféle AI-ügynökök érkezésével - jósolta még korábban a rendszeres forgalmi statisztikákkal szolgáló Cloudflare.
A cég vezérigazgatója, Mathew Prince márciusban még arról beszélt, hogy a botok 2027-re jó eséllyel megelőzhetik az emberek internethasználatát, már ami a forgalmat illeti. Ez azonban a vártnál hamarabb jöhetett el, ugyanis Prince június 3-án közzétett bejegyzése szerint a botok és az emberek által generált webes forgalom (HTTP-kérések) közötti arány már határozottan az előbbi csoport javára áll 57,5% - 42,5% arányban.
Az adatokhoz érdemes hozzátenni, hogy a Cloudflare Radar az internet jelentős részét ugyan lefedi, de az összes weboldal körülbelül egyötöde halad át a vállalat infrastruktúráján. A bot-ember arány pedig a HTML-tartalomra vonatkozó kéréseken alapul, és a cég rendszere viselkedéselemzést használ az automatizált és az emberi tevékenység megkülönböztetésére.
Davi Ottenheimer kiberbiztonsági szakértő szerint a Cloudflare kommunikációját érdemes némi fenntartással kezelni, mivel a vállalat részhalmaz-adatokat emel ki, melyek nem reprezentálják az internet teljes forgalmát. A kritika szerint a nyilvánosan elérhető Cloudflare Radar adatok alapján az összesített internetes forgalom továbbra is döntően emberi eredetű, és nem támasztja alá egyértelműen azt az állítást, hogy a botok már többségbe kerültek volna.
Az X-en közzétett posztjára adott válaszok közt maga Prince is megjegyzi, hogy nehéz lenne megmondani, mikor volt fordulópont, mert az „adatok kissé kuszák”, de már „egyértelműen a másik oldalon vagyunk".
Félreértések adódhatnak abból is, ki miként értelmezni a botok által generált forgalmat. A kategória ugyanis több eltérő típusú automatizált rendszert lefed: ide vehetők a keresőmotorok robotjai, az AI-modellek tanítására használt adatgyűjtő crawlerek, az AI-asszisztensek háttérfolyamatai, a legitim monitoring és indexelő szolgáltatások, valamint a rosszindulatú vagy kéretlen automatizált rendszerek. A kritikusok szerint a különböző célú botok egyetlen kategóriába történő összevonása torzíthat az összképen.
A kritikusabb hangok szerint a Cloudflare számára üzleti szempontból is előnyös lehet, hogy ennyire hangsúlyozza a botforgalom növekedését, mivel a vállalat az utóbbi időszakban több megoldást is bevezetett az AI-crawlerek korlátozásához, és bár ez önmagában nem teszi érvénytelenné a cég állításait, de az üzleti kontextus is szerepet játszhat abban, miként kommunikál a vállalat.