Szerző: Habók Lilla

2019. augusztus 21. 09:11

A Google Assistant ért mindent legjobban?

Nem mindegy, hogy melyik digitális assisztenst milyen témában faggatja a felhasználó. A Google Assistant, a Siri és az Alexa más-más területen ért el jó eredményt egy 800 kérdésből álló teszt szerint.

Sokkal jobb megértési és válaszadási képességekkel rendelkezik a Google Assistant a Sirihez és az Alexához képest a Loup Ventures kockázatitőke-társaság friss digitális asszisztenseket összehasonlító tesztjének eredményei szerint. A vállalat a felmérés során 800 különböző kérdést tett fel angolul a három fejlesztőcég virtuális asszisztenseinek (okostelefonokon, nem pedig okoshangszórókon), majd ebből vont le következtetéseket. Az elemzők a felmérést félévente végzik, amelyből az elmúlt két félévben szintén a Google Assistant jött ki győztesként, de mindhárom asszisztensen látszik a fejlődés az eredmények szerint - amelyhez, mint tudjuk, a fejlesztőcégek a felhasználók hangmintáit is felhasználják.

Miért nem beszélni AI tökéletesen magyart?

Milyen kihívásokat tartogat egy magyar nyelvi modell, például a PuliGPT fejlesztése?

Miért nem beszélni AI tökéletesen magyart? Milyen kihívásokat tartogat egy magyar nyelvi modell, például a PuliGPT fejlesztése?

Idén nyáron a Google Assistant teljes mértékben megkértetette a kutatást végzők felé intézett kérdéseit és kéréseit, amelyek közül 92,9 százalékra elfogadható pontosságú feleletet tudott adni. Eközben a Siri 99,8 százalákát értette meg a kéréseknek, és 83,1 százalékban adott rá értelmes választ. Az Alexa viszont a 99,9 százalékos megértés mellett mindössze 79,8 százalékban reagált pontosan a feltett a kérdésekre.

Az elemzők a kérdéseket öt különböző kategóriába sorolták. Szerepelt köztük helyszínekre vonatkozó kérdés (pl. hol a legközelebbi kávézó?), navigációs feladat (pl. hogy lehet busszal eljutni a belvárosba), és rákérdezett konkrét információra (pl. ki ellen játszik ma a Twins baseball-csapat). Továbbá az összehasonlító tesztben megjelent vásárlási feladat (pl. rendelj papírtörlőt) és egyszerű parancs (pl. emlékeztess, hogy hívjam fel Jerome-t délután 2-kor).

digitalis_asszisztensek_felmeres_2019

Az öt kategóriából négyben is a Google Assistant győzedelmeskedett több mint 90 százalékos eredménnyel. A parancsok teljesítésében azonban a 86 százalékos eredményt érő Google-assisztenst a Siri felülmúlta. Ennek oka, hogy az okostelefonhoz köthető feladatok is elég jól mentek az Apple termékének, beleértve a hívásindítást, üzenetküldést, naptárbejegyzéseket és zenével kapcsolatos feladatokat.

Azonban a felmérés szerint a Sirinek a parancsteljesítéshez képest minden más sokkal gyengébben megy, az információs kérdéseknek csak nagyjából háromnegyedére adott pontos választ, a vásárlási kérések pedig csak 68 százalékban sikerültek jól az Apple megoldásának. Az Alexa pedig pont az információs kérdésekben emelkedett ki (93%) ki, de a parancsteljesítés (69%), a vásárlási feladat (71%) és a navigáció (72%) is viszonylag gyengén megy az Amazon termékének. Az eredményeket magyarázza, hogy az elemzők az Alexát iOS appon próbálták ki, amelyen a hangüzenetküldés és a hívás is működött, de az Alexa a másik két asszisztenssel ellentétben nem tudott üzenetet és emailt küldeni, illetve hívást indítani.

Összességében az elemzők minden digitális asszisztensnél valamennyi kategóriában fejlődést tapasztaltak az elmúlt félévhez és egy évhez képest egyaránt. A Google rendszerint az információigényekre felel legjobban (és navigációban is elég erős), míg a Siri a parancsteljesítésben a legjobb. Az Alexa fejlődése volt az elmúlt egy évben a leglátványosabb (18 százalékponttal), főleg a heyfüggő és navigációs kérdések megválaszolásában, de az eredménye továbbra is bőven a másik két megoldás mögött marad. A három asszisztens teljesítményének rangsora eddig nem változott, legalábbis a Loup Ventures felmérése alapján.

Metodológia

A virtuális asszisztenseket összehasonlító felmérést a Loup Ventures kutatásvezérelt kockázatitőke-társaság elemzői, Gene Munster és Will Thompson végezték. A kutatók mindhárom vállalat asszisztensének ugyanazt a 800 kérdést tették fel angolul: a Sirinek iOS 12.4-en, az Assistantnak Android 9 Piet-t futtató Pixel XL készüléken, az Alexának pedig az iOS appon keresztül - idén a Cortanát kivették a listából a Microsoft megváltozott stratégiája miatt. Ezenkívül különböző okosotthon kiegészítőket is bevontak a tesztelésbe, úgy mint Wi-Fi switchet és okoslámpát. Majd az elemzés során az elemzők az asszisztensek megértését és a válaszaik pontosságát jelölték egy skálán, amelyből a százalékos arányokat képezték.

Nagyon széles az a skála, amin a állásinterjú visszajelzések tartalmi minősége mozog: túl rövid, túl hosszú, semmitmondó, értelmetlen vagy semmi. A friss heti kraftie hírlevélben ezt jártuk körül. Ha tetszett a cikk, iratkozz fel, és minden héten elküldjük emailben a legfrissebbet!

a címlapról

fab

7

Chipgyártó nagyhatalommá válna India

2024. március 18. 12:39

A helyi politikai vezetés szerint van rá esély, hogy a következő néhány évben az ország bekerüljön az öt vezető ország közé.