Az agy aktivitásán keresztül fejtették vissza a videók képét

A kaliforniai Berkeley Egyetem kutatóinak az volt a célja, hogy az ember által látott képet az agy látókérgének aktivitása alapján dekódolják. Amikor körbenézünk a környezetünkre, vagy egy film előtt ülünk, az agyunk aktivitása dinamikusan változik, más-más területek aktiválódnak, amit funkcionális rezonancia-vizsgálattal (fMRI) kimutatni és mérni lehet. A tudósok az aktivitás figyelése során gyűjtött adatok alapján számítógépes modelleket állítanak fel, ezek segítenek meghatározni, hogy az aktivitást milyen inger és hogyan váltotta ki, végül pedig az aktivitás alapján próbálják meg rekonstruálni a látottakat.

Belelátni mások fejébe

Mindez alapvetően nem újdonság, a kutatók évek óta kísérleteznek például fotók és számjegyek, tehát alapvetően statikus képek ilyen módon történő leírásával, természetes mozgóképekkel viszont nem igen próbálkoztak, pedig ennek bizonyos tekintetben – például a belső látás vagy az álmok megfejtésében - több gyakorlati haszna lenne. A dinamikusan változó jelekkel és a természetes látást szimuláló feltételek mellett nehezebb dolgozni, a mostani eredmények ezért jelentősek elsősorban. Az elsődleges nehézséget az jelenti, hogy az agy aktív területeinek megfigyelésére használt BOLD (blood oxygen level-dependent) fMRI módszer által mért jelek – ilyenkor az agyi véráramlás és a véroxigén-szint változatásait nézik – sokszor másodpercekkel lassabbak az olyan dinamikus ingereknél, mint amit a filmek jelentenek, ezért nehéz modellezni őket.

Erre a problémára a kutatók egy új, kétszintű kódolási rendszert dolgoztak ki. Az első szakaszban foglalják össze az elsődleges látókéreg idegsejtjei által küldött gyors válaszokat, míg a másodikban ezen információk hatását vizsgálják a külön mért lassú véráramlási folyamatokra: röviden minden tesztalanynál a több órányi YouTube-videó, pontosabban a bennük látott tárgyak – mozgási irányra, helyzetre és sebességre vonatkozó – jellemzőit párosítják az agyi aktivitás mintázataival egy számítógépes modellben. Az utóbbi alapján legközelebb már nagyjából visszafejthető, hogy mit látott éppen az alany.

Égbe révedő informatikusok: az Időkép-sztori Mi fán terem az előrejelzés, hogy milyen infrastruktúra dolgozik az Időkép alatt, mi várható a deep learning modellek térnyerésével?

Az itt példaként bemutatott videókat véletlenszerűen vetítették le az alanyoknak, és nem voltak közöttük az eredeti ingerként használt klipek – igaz, ennek köszönhető az is, hogy a rekonstruált kép homályos, hiszen a kutatók  a pontosság kedvéért több mintát használtak, míg egyelőre csak az elsődleges és másodlagos látókéreg egyszerűbb információit dolgozták fel. Az eredményt ehhez mérten is kell nézni.

Álomfejtésre is jó lehet

A kutatók szerint nem konkrét alkalmazási cél motiválta őket a fejlesztés során, de azt ők is megjegyezték, hogy egy ilyen "gondolatolvasó" több dologra is használható majd, köztük különféle betegségek diagnosztizálására, egyes gyógykezelések hatásainak vizsgálatára, illetve az áttörés a művégtagok irányítására használható BMI-k (brain-machine interface) fejlesztésében is közreműködhet.

Jelenleg ugyan még kezdetleges állapotban vannak a kísérletek, de továbbfejlesztés után a rendszer akár az álmok, a memória és a belső látás dekódolásához is használható majd; igaz, egyelőre még nem ismert pontosan, hogy például az álmokat ugyanúgy dolgozza-e fel az agy, mint az éber észlelést. A kutatók szerint az sem kizárt, hogy a rendőrség egy ilyen eszköz segítségével vegye fel a tanúk vallomását, más kérdés, hogy azok mennyire emlékeznek pontosan a látottakra, hiszen ez esetben egy tévedés csak még jobban félreviszi a nyomozást.