Szerző: Gálffy Csaba

2015. július 01. 14:44:00

Robotizált, optikai tárolókat fejleszt a Facebook

A tárolás mindig a Facebook egyik megoldásra váró problémája volt, nem csoda, hogy a cég sorban jön úttörő elképzeléseivel. A legújabb ötlet: Blu-ray lemezeket használni a hosszú távú archiváláshoz, mind fogyasztásban, mind sűrűségben verhetetlen.

Komoly problémát okoz a Facebook számára az elképesztő mennyiségű felhasználói adat (fotók, posztok, megosztások) tárolása.  Már egy nagyvállalat számára is nehéz kérdés az adat-özön hatékony és olcsó raktározása, a Facebook azonban egészen egyedi méretben szembesül a kérdéssel: hogyan lehet igen nagy mennyiségű adatot biztonságosan tárolni?

A vállalat problémáját érzékelteti, hogy már 2013-ban egy exabájtnyi képet tároltak a cég szerverei, ez a mennyiség pedig azóta csak nőtt. A képes (és immár videós) anyagok azonban klasszikus long-tail problémát jelentenek, a forgalom 82 százalékát ugyanis a tartalom 8 százaléka adja (tehát még élesebb is az emlegetett 80-20 aránynál). Az ilyen szinten aszimmetrikus forgalom mellett logikus, hogy a cég többszörösen rétegzett tárolókban gondolkodik, a forró tartalmakat in-memory vagy flash-alapú tárolókról szolgálja ki, majd az aktív merevlemezes és passzív merevlemezes tárolás következik. A tárolás költsége szintről szintre csökken, a kapacitássűrűség és a késleltetés pedig emelkedik.

A vállalat most egy új, saját fejlesztésű tárolórendszert tesztel, amely optikai alapon, egészen pontosan Blu-ray lemezekre írja ki az adatokat. A tervek szerint ez a megoldás képezi majd a tároló-hierhachia legalsó szintjét, amely már átmenetet képez az off-site backup és a hosszú távú archiválás felé is.

Kényszerből úttörő

A Facebook mérnökei gyakorlatilag a közösségi oldal indulása óta olyan egyedi mérnöki problémákat oldanak meg, amelyekkel rajtuk kívül szinte senki nem találkozik. A közösségi oldal 1,4 milliárd felhasználója ugyanis olyan skálázódási kérdéseket vet fel, amivel a Facebook mellett a Google és még egy-két szereplő találkozik. Az egyedi kihívások miatt a Facebook hosszú ideje foglalkozik a saját szoftverek fejlesztése mellett hardverek tervezésével is, mind a szerverek, mind a hálózati eszközök, mind a tárolók területén.

(forrás: datacenterfrontier.com)

Hét kedvenc előadónk az idei HWSW mobile!-ról (x) 90 fős előadó lesz a konferencián, segítve az eligazodást, kiemeltük neked a hét kedvencünket.

Nem csoda tehát, ha a Facebook az in-memory és flash-alapú tárolás egyik első felhasználója volt, a cég azonban nem csak felfelé, a gyorsabb és alacsonyabb késleltetésű rétegek felé, hanem lefelé, a lassabb szintek felé is folyamatosan kísérletezik az újabb storage tier-ek létrehozásán. A vállalat korábban a Sub-Zero koncepcióval tört utat, amely olyan tárolórendszert jelent, amely használaton kívül szinte teljesen lekapcsol - leállnak a merevlemezek és a tárolóvezérlő is alacsony fogyasztású módba kapcsol.

A Sub-Zero koncepció sikerrel tett "érettségit", ma már ilyen alapokon működik a cég több, tárolásra kihegyezett adatközpontja is. A rendszer alapját a nyílt szabványú Open Compute Knox tárolóegység adja, ez a hardver egy rack szekrényben 32 fiókot tartalmaz, fiókonként 15 darab off-the-shelf 4 terabájtos meghajtó dolgozik - egy szekrény thát mintegy 2 petabájt nyers kapacitást kínál. Ahogy korábban említettük, használaton kívül a meghajtók állnak, de azokat ellenőrzés céljából bizonyos periódusonként felpörgeti a Facebook.

A Sub-Zeróhoz a cég egyébként egészen egyedi adatközpontot is tervezett, amelyhez nem jár dedikált generátor és UPS sem. Erre azért van lehetőség, mert ezek a tárolók nem szolgálnak ki a felhasználók felé adatokat, ide archiválásra, hosszú távú megőrzésre kerülnek ki a tárolt adatok - emiatt is abszolút kritikus az energiafogyasztás minimalizálása. Az adatközpont, a kiszolgáló hálózat és a tároló hardver optimalizációjával a cég mára eljutott oda, hogy egyetlen (teljesen kiépített) hatalmas teremben képes 1 exabájt adatot tárolni.

A megoldás: Blu-ray?

A fejlesztés azonban nem állt itt le, a cég mérnökei már a következő generációs hidegtárolón gondolkodnak. A poént már lelőttük, a nagy újdonság, hogy a rendszer már nem mágneses, hanem optikai alapon tárol majd, nem szabványos merevlemezeken, Blu-ray lemezeken kapnak helyet az adatok. "Fantasztikus, milyen nagy tárolókat tudunk Blu-ray alapokon létrehozni" - mondta Keven McCammon, a Facebook adatközpontért felelős igazgatója. "Jelenleg kiterjedt tesztelés végzünk, biztosak akarunk lenni benne, hogy ez a koncepció működik éles környezetben és skálázódni is képes az igényeinknek megfelelően."

 

Robots, lasers, data centers! Facebook's VP of Infrastructure Engineering Jay Parikh unveiled a new optical storage solution during yesterday's OCP Summit. Watch this demo from Giovanni Coglitore to learn more about our innovative cold storage system.

Posted by Facebook Engineering on Wednesday, January 29, 2014

 

Maga a hardver alapvetően a nagy szalagos tárolókhoz hasonlóan működik: a lemezeket sűrű rendben tárolja a rendszer, ezek közül az éppen szükségeset robotkar emeli ki és illeszti be az olvasóba. A tárolót kifejezetten úgy alakították ki a fejlesztők, hogy a lemezeket tároló fiókok könnyen kivehetőek és off-site tárolásra elszállíthatóak.

Hosszú távú tárolásra a Blu-ray verhetetlen a Facebook mérnökei szerint. A cég korábbi legalsó tárolószintje merevlemezeket használt, ehhez képest az optikai tároló mintegy 50 százalékkal fogyaszt kevesebbet. Ez logikus, a lemezek alvó állapotban egyáltalán nem fogyasztanak áramot, a kiírás után a következő olvasásig az adattárolás gyakorlatilag ingyen van. Az új tárolók nem csak fogyasztásban, kapacitássűrűségben is igen jól teljesítenek

Van potenciál benne

A technológiában nem csak a Facebook lát lehetőséget, tavaly a hardver fejlesztéséért felelős Frank Frankovsky saját startupot alapított a Blu-ray-alapú tárolók továbbfejlesztésére. A sokatmondóan Optical Archive névre keresztelt induló céget a Sony vásárolta fel, a japánok a robotizált szalagos tárolók piacán is nagy névnek számítanak, várhatóan az optikai tárolók területén is szeretnének előbbre lépni. Jelenleg csupán két-három kisebb cég készít a világon nagyvállalati szintű optikai tárolókat, a Facebook további fejleszései és a Sony belépése azonban arra utal, hogy ez a helyzet hamarosan meg is változhat.

a címlapról

Hirdetés

Hét kedvenc előadónk az idei HWSW mobile!-ról

2019. november 15. 12:11

Idén 90 fős előadói gárdával készülünk a HWSW mobile! digitális termékfejlesztési konferenciára, de hogy segítsünk az eligazodásban, kiemeltük neked a hét kedvencünket.

béta

0

Mobilappot kap a GitHub

2019. november 14. 14:49

A béta verziós app mellett a cég új értesítési felületet és több más újdonságot is bejelentett.