Bare metal GPU Kubernetes klasztertől a cloudig

Az önvezetést elősegítő machine learning modellek készítéséhez kezdetben különálló GPU szervereket használt az aiMotive csapata. Egy idő után szükségessé vált, hogy szervereiket rendszerezzék a jobb kihasználtság érdekében, így ma már egy ezekből épített Kubernetes klaszter szolgálja ki az infrastruktúrát. Ahhoz, hogy egy hirtelen megnövekedett erőforrás igényt költséghatékony módon ki tudjanak kielégíteni, egy sokkal dinamikusabban skálázódó környezetben, az AWS cloudban is felépítették klaszterünket.

Rust? Kubernetes? FinOps? Melyiket válasszam? Egy jó karrierdöntéshez sok apróság szükséges. Egy alapos hazai technológiai körkép azoban még hiányzott. Végre van ilyen, és a 21. kraftie adásban kidumáltuk.

Csizmadia Dénes (aiMotive) a HWSW free! meetup-sorozat Kubernetes állomásán elhangzott és alább megtekinthető előadása során a folyamatoknál gyűjtött tapasztalatok mellett a következő kérdésekre igyekezett választ adni:  Mi szükséges ahhoz, hogy GPU erőforrást igénylő folyamatokat futtassunk Kubernetesen? Milyen előnyök, hátrányok és üzemeltetést érintő kihívások vannak egy bare metal és egy cloud szolgáltatónál létrehozott Kubernetes klaszter esetében?