Saját transzkódoló chipet tol a YouTube alá a Google
Népszerű videómegosztójához szabott transzkódoló chipet tervezett a Google. A keresőóriás állítja, az Argos kódnevű fejlesztéssel 20-33-szoros javulás érhető el a kiszolgálórendszer működésének hatékonyságában.
A VCU, vagyis Video (trans)Coding Unit a YouTube szerverein tárolt különféle videók elsősorban on-the-fly, azaz menet közbeni kódolását hivatott gyorsítani. A videómegosztó szerverein ugyanis csak egyetlen verzióban szerepel a feltöltött mozgókép, amit a YouTube adatközpontja a felhasználó oldaláról érkező különféle igényeknek (felbontás, bitráta, kodek) megfelelően kódol át, majd streameli tovább az interneten keresztül.
Hyperscaler vagy hazai felhő? Lehet, hogy nem kell választani! Egy jól felépített hibrid vagy multicloud modellben a különböző felhők nem versenytársai, hanem kiegészítői egymásnak.
Prózai oka van, hogy a Google szolgáltatása miért csak egyetlen verzióban tárolja a felvételeket. A YouTube-ra ma percenként nagyjából 500 óra videót töltenek fel, amely naponta egy újabb bő petabájtnyi adat eltárolásának feladatát rója az üzemeltetőkre. Amennyiben a videókat eltérő felbontásban és/vagy kódolásban is tárolni kellene, a már amúgy is óriási adatmennyiség még nagyobb léptékkel nőne, mely az adattárolás oldaláról állítaná még nagyobb kihívás elé a Google szakembereit. Utóbbiaknak így sincs könnyű dolguk, a vállalat prognózisa szerint ugyanis a feltöltött videóanyagok mennyisége exponenciálisan növekszik, öt évente nagyjából tízszeresére nő.
Az elképesztő mennyiség és gyors növekedés fényében érhető, hogy a keresőóriás miért igyekszik különféle egyesi fejlesztésekkel kordában tartani a tároláshoz szükséges kapacitást. A YouTube eddig különféle sztenderd, Intel processzoros és Nvidia gyorsítós szerverekkel oldotta meg a videók átkódolását. Ezek hatékonysága ugyanakkor elmaradt a kívánttól, különösen a teljesítmény/TCO (élettartamköltség) mutatót illetően. Ezen felbuzdulva bízta meg házon belüli chiptervező csapatát a Google, amelynek van már rutinja a hasonló, egyedi igényekre szabott gyorsítókban. Gondoljunk csak a vállalat gépi tanulásos célprocesszora, amely végül TPU (tensor processing unit) néven került be az adatközpontokba.
A Google most hasonló utat jár be a VCU-val, amely ugyancsak egy minden szempontból egyedi fejlesztés. A PCI Express kártya formátumú gyorsítón két darab Argos ASIC (alkalmazásspecifikus integrált áramkör) található, amelyek fejenként tíz darab kódolómagot tartalmaznak. Ezek mellé egy ARM-alapú CPU-t, dekódert, DMA egységet, illetve a rendszer működéséhez ugyancsak elengedhetetlen PCI Express és memóriavezérlőt építette a lapkába a tervezőcsapat. A magok mindegyike önállóan képes 4K felbontás és 60 fps mellett kódolni, természetesen valós időben.
A chippárosokra épülő egyes gyorsítókártyákat úgynevezett VCU machine-ekbe pakolja a Google, majd ezeket a már meglévő compute klaszterekhez kapcsolja. Ily módon minden klaszter megkaphatja az optimális működéshez szükséges dedikált kapacitást, amelyhez ráadásul így nem is szükséges szétszedni a már meglévő kiszolgálókat. A kártyákat úgy tervezte a Google, hogy azok beférjenek az iparági szabványnak tekinthető, különféle (pl. Nvidia) gyorsítókártyák helyére.
A YouTube VCU-s átállítása folyamatban van, a CNET információ szerint már több ezer Argos chip dolgozik a videómegosztó kiszolgálói mellett. Többek között ennek köszönhetően rövidült le jelentősen a 4K felbontású anyagok teljes feldolgozása, amely korábban akár napokat is igénybe vehetett. A Google számára legalább ennyire fontos, hogy az Argos chipeknek hála jelentősen megugrott a kiszolgálók teljesítmény/TCO mutatója, amely a szélsőséges példát jelentő 20 darab VCU-val történő VP9-es kódolásnál 33,3-szor kedvezőbb, mintha egy Skylake magos Xeon szerveren futna a folyamat.
A hardveres fejlesztésnek tekinthető VCU mellett a Google a különféle szoftveres optimalizációka is nagy hangsúlyt fektet. A YouTube elképesztő növekedését tekintve nem csoda, hogy a vállalat élen jár a különféle videokodekek fejlesztésében, illetve az azokhoz való hozzájárulásban. A nyolc éve bejelentett, azóta pedig már el is terjedt VP9 után a küszöbön az AV1, ami felhasználói beállítástól függően ki is próbálható a YouTube-on. A "nagyteljesítményű", nem licencköteles AV1 kodek használata akár 20 százalékkal jobb tömörítési hatékonyságot eredményez az általánosan elterjedt, kiterjedten használt VP9-hez képest.