Fotóink hosszútávú tárolásán dolgozik a Facebook
Speciális nagy kapacitású, hosszútávú tárolásra szolgáló adatközpontot épít a feltöltött fotók számára a Facebook. Szalagos tárolóról hallani sem akarnak, így vadabb elképzelést kellett megvalósítani.
A Facebook tárolórendszerének legnagyobb problémája, hogy egészen eddig nem használt komoly rétegezést, az összes feltöltött fotót hagyományos tárolókon tartotta. A közösségi oldal sajátossága azonban, hogy a töménytelen mennyiségű fotónak csupán elenyésző részét nézik meg a felhasználók rendszeresen, a többit azonban nagyon ritkán látogatják, így lassabb, kevesebbet fogyasztó tárolók is elegendőek lennének ezek tárolására.
Kis fogyasztás a porosodó fotóknak
A Facebook ennek megfelelően most alaposan újragondolja a tárolóinfrastruktúrát - mondta el Jay Parikh, az infrastruktúráért felelős Facebook-alelnök. A nagy kihívás, hogy a fotókat és videókat elérhető és a felhasználó számára lehetőleg transzparens módon kell áthelyezni olcsóbban üzemeltethető, hosszú távú tárolásra is alkalmas rendszerekbe. Parikh szerint a jelenleg használt megoldás, memóriából illetve folyamatosan pörgő merevlemezekről kiszolgálni a sokéves képeket energiapazarló és hosszú távon nem kifizetődő.
A vállalati informatikában jártas szakemberek számára a megoldás kézenfekvő lenne - használjunk szalagos tárolót! Nagy kapacitássűrűség, alacsony energiafogyasztás mellett. Parikh azonban roppant expliciten fogalmaz: "inkább evőpálcikákkal szúrnám ki a szemem" - a szalag ugyanis webes szemmel nézve elképesztően lassú válaszidővel rendelkezik, másrészt a kapacitás kiépítése nagyon drága, Facebook-méretben gyakorlatilag megfizethetetlen lenne.
A Facebook megoldása egy hatezer négyzetméteres kis adatközpont a nagy oregoni adatközpont mellett, egy másik pedig az észak-karolinai adatközpont mellett épül. A Sub-Zero névre keresztelt központban saját fejlesztésű tárolórendszerek ülnek, amelyek sajátossága, hogy használaton kívül egyszerűen lekapcsolnak, igény esetén viszont pillanatok alatt felállnak, felpörgetik a merevlemezeket és kiszolgálják a kért adatokat. A "leállás" pontos definícióját a Facebook nem közölte, lehetséges, hogy csupán valamilyen hibernált állapotról van szó, amelyből a rendszer pillanatok alatt képes felállni. A specifikációk is erre utalnak, a közösségi szolgáltatás adatai szerint a Sub-Zeróban található szerverek rackenként 1,5 kilowattot fogyasztanak átlagosan, szemben a fő adatközpont 4,5 kilowattos adatával.
Égbe révedő informatikusok: az Időkép-sztori Mi fán terem az előrejelzés, hogy milyen infrastruktúra dolgozik az Időkép alatt, mi várható a deep learning modellek térnyerésével?
Ezek a rendszerek persze jóval lassabb válaszidővel rendelkeznek, mint az adatközpontban ülő "forró" tárolók, de felállás után például akadás nélkül képesek egy album további fotóit kiszolgálni. Cserébe használaton kívül nagyon keveset fogyasztanak, a kikapcsolt merevlemezek élettartama pedig jóval magasabb. További nem elhanyagolható előny, hogy mivel a Sub-Zeróban egyszerre csak a szerverek kis hányada működik, a légkondicionálásért felelős alrendszernek csupán kis kapacitásúnak kell lennie.
A Sub-Zero fotótárolóként való használatát még nem implementálták, a képeket és videókat népszerűség szerint osztályozó szoftver még fejlesztés alatt van. Ha készen lesz, akkor a fő alkalmazás számára teljesen transzparens módon fogja szelektíven tárolni a fotókat, sem a felhasználó, sem az adatbázis nem kell azzal foglalkozzon, hogy az adott adat a fő adatközpontban, vagy az alacsony fogyasztású tárolókon van-e.
Az implementáció nem egyszerű - erősíti meg Parikh. A gyorsan bekapcsoló/talpra álló szerverekhez speciális hardverre, operációs rendszerre, BIOS-ra, kernelre van szükség, az adatközpont tervezésénél pedig új szempontokat kell figyelembe venni. "Ezt mind végig újra kell gondolni. Nem lehet egy ilyen rendszert a meglévő számítási környezetben implementálni, külön tárolóközpont és különleges épülettervek kellenek." Az ilyen központok esetében például a gépek által elfoglalt hely alacsony prioritást kap, míg a hosszú élettartam és alacsony fogyasztás elsőszámú szemponttá lép elő.
Biztonsági mentésre is
A Sub-Zero egyébként az alacsony népszerűségű fotók mellett a Facebook saját biztonsági mentéseinek is fedelet biztosít - megint csak szalagos tárolók helyett. A rendszer ebben az esetben is hasonlóképp működik, a mentés készítésének idejére bekapcsolnak a szerverek, majd az adatátvitel lezárultát követően lekapcsolnak. Mivel ezek a rendszerek nem tükrözésre (failoverre) tervezettek, nem veszik át a fő szerverek helyét, csupán katasztrofális adatvesztés esetén, az adatok visszatöltésére használnák őket.