Szerző: Asztalos Olivér

2018. június 15. 15:48

Az SMR merevlemezek miatt gondolja újra adatközpontját a Dropbox

Az SMR technológiájú merevlemezek miatt tervezte újra adatközpontját a Dropbox. Az eredmény felülmúlta a várakozásokat, amelyen felbuzdulva az egész iparággal megosztaná tapasztalatait a felhős tárhelyszolgáltató.

A nagyobb kapacitássűrűséget biztosító SMR szektorrendezési technológia miatt tervezte át adatközpontját a Dropbox. A felhős tárhelyszolgáltatónak meglehetősen sok munkájába került, hogy beillessze a korábbi, 8 terabájtos modelleknél 75 százalékkal nagyobb kapacitást kínáló 14 terabájtos merevlemezeket infrastruktúrájába, azok ugyanis alapfelállásban a korábbi meghajtók írási tempójának csak töredékét produkálták. A Dropboxnak végül a rendszer szoftveres rétege mellett a hardverhez is hozzá kellett nyúlnia, a végeredmény azonban felülmúlta a várakozásokat, amelynek hála jelentősen nőtt az adatsűrűség, az  fajlagos költsége pedig ezzel egy időben fordítottan arányosan csökkent.

A Dropbox több más felhőszolgáltatóhoz hasonlóan a költséghatékonysága miatt voksolt az SMR-t (Shingled Magnetic Recording) alkalmazó HDD-kre, azonban míg az ilyen meghajtókat a jellemzően archiváláshoz választják, addig a Dropbox elsődleges tárolónak akarta bevetni a rendkívül kedvező ár/kapacitás mutatójú diszkeket. Utóbbinak természetesen ára van, hisz bár az SMR szektorrendezési technológia számottevően növeli a kapacitássűrűséget, ezért átviteli sebességgel kell fizetni, írási műveleteknél például meglehetősen drágán. Az átlapolást alkalmazó SMR-nél ugyanis a PMR-nél megszokott móddal ellentétben a lemezeken elhelyezkedő adatsávok részben átfedésben vannak.

pmr_smr

A technológiával körülbelül 25 százalékkal növelhető az adatsűrűség, ugyanakkor a már említett módon mindez az átviteli tempó rovására megy. A fej ugyanis a sűrűbben elhelyezett, átfedésben lévő sávok miatt egy helyett egyszerre két sávot ír felül, amelyekből az egyik tartalmát később vissza kell írnia. Mindez jelentősen csökkenti az elérhető adatrögzítési sebességet, ami kézenfekvő módon leginkább az írási műveleteknél üt vissza. A 10 terabájtos Ultrastar esetében például az SMR-es verzió szekvenciális írási sebessége csak a PMR-es modell majd negyede (249 MB/s vs. 68 MB/s). Az SMR-t használó meghajtókat emiatt elsősorban olyan környezetben érdemes alkalmazni, ahol a műveletek túlnyomó többsége olvasás, itt ugyanis kisebb a kompromisszum, a már említett két modell esetében csak 37 százalékkal alacsonyabb az átviteli sebesség (249 MB/s vs. 157 MB/s).

Miért nem beszélni AI tökéletesen magyart?

Milyen kihívásokat tartogat egy magyar nyelvi modell, például a PuliGPT fejlesztése?

Miért nem beszélni AI tökéletesen magyart? Milyen kihívásokat tartogat egy magyar nyelvi modell, például a PuliGPT fejlesztése?

A Dropbox azonban a csábító költségvonzat miatt nem adta fel, inkább hozzáigazította a több száz petabájtnyi összkapacitást jelentő Ultrastar Hs14 merevlemezekhez adatközpont architektúrájához. A szolgáltató azt állítja, hogy ilyen céllal és ekkora kapacitással még senki nem telepített SMR-es diszkeket, amely új kihívások elé állította a házon belül fejlesztett, Magic Pocketre keresztelt felhős infrastruktúrát építő szakembereket.

dropbox_dc

A mérnökök az SMR diszkek vezérlési módjának kiválasztásával kezdték a projektet. A kifejezetten adatközpontokhoz tervezett modellek esetében ugyanis van lehetőség a meghajtó belső firmware-ének megkerülésére. A Dropboxnál utóbbi nem volt kérdés, az ugyanis nyilvánvaló volt, hogy az alapértelmezett vezérlés komoly limitációt jelent. A szakemberek számára így már csak a Host Aware és a Host Managed között kellett dönteni, amelyek közül végül a kvázi teljes kontrollt biztosító utóbbi mellett tették le a voksot. Ezzel kvázi teljesen kézbe vették a HDD-k belső vezérlését, a szekvenciális zónák komplett menedzselésétől kezdve a gyorsítótárazásig bezárólag.

Ezután a gazdavezérlők következtek, amelyeknél első lépésben memóriakapacitást emelték meg darabonként 96 terabájtra. A Dropbox szerint ezzel a memóriában tarthatóak az adatblokkok indexei, ami sokat segít a teljesítményproblémák kezelésében. Emellett a processzorokhoz is hozzányúltak a mérnökök, amelyeket a korábbi tizenhatmagosokról húszmagosokra cseréltek. Erre a Dropbox szerint szükség volt, hogy a keretenkénti I/O sebességet az optimális 40-45 Gbps környékén tartsák.

A lemezvezérlés sem maradt érintetlenül, a korábbi RAID vezérlőket egyszerűbb, Host Bus Adapterekre (HBA) cserélték a mérnökök, amivel megszabadultak a RAID0 tömbök többletterhelésétől, illetve a RAID-del járó további problémáktól (pl. firmware bugok). A Dropbox szerint ezzel a provisioning jelentősen, 2 óráról nagyjából 30 percre csökkent, cserébe viszont fel kellett adni az írási gyorsítótárt. Utóbbi pótlására saját, SSD-alapú gyorsítótárazást kellett kidolgozni, amely bár egyelőre jól működik, a Dropbox máris belefutott a SATA csatoló szűkösségébe, amely miatt a jövőben NVMe csatolós meghajtókra állnak majd át.

A Dropbox szerint ezzel, illetve a szoftver finomhangolásával sikerült elérni, hogy az immár SMR meghajtókat is tartalmazó adatközpont teljesítménye, illetve megbízhatósága eléri a korábbi szintet. Mindeközben a rackenkénti sűrűség jelentősen, a korábbi 2,29-szeresére nőtt, tehát ennyivel több blokkot képesek tárolni a 14 terabájtos SMR HDD-vel feltöltött szekrények. A felhős tárhelyszolgáltató ezen felbuzdulva jövő év végéig még több SMR-res merevlemezt épít majd be, a tervek szerint 2019 végéig az adatközpont negyedét ilyen diszkek alkotják majd. Emellett a Dropbox azt ígéri, hogy az adaptáció során kifejlesztett szoftveres fejlesztést megnyitja, ezzel ugyanis egyre többen választhatnak SMR-res meghajtókat, amelyből hosszabb távon a teljes iparág profitálhat.

Nagyon széles az a skála, amin a állásinterjú visszajelzések tartalmi minősége mozog: túl rövid, túl hosszú, semmitmondó, értelmetlen vagy semmi. A friss heti kraftie hírlevélben ezt jártuk körül. Ha tetszett a cikk, iratkozz fel, és minden héten elküldjük emailben a legfrissebbet!

a címlapról

fab

5

Chipgyártó nagyhatalommá válna India

2024. március 18. 12:39

A helyi politikai vezetés szerint van rá esély, hogy a következő néhány évben az ország bekerüljön az öt vezető ország közé.