Mellékleteink: HUP | Gamekapocs
Keres

Új lekérdező nyelvet vezet be a Microsoft

Gálffy Csaba, 2015. október 07. 09:36

Elosztott, gyors, és a szükséges absztrakciókat már eleve tartalmazó nyelvet jelentett be a Microsoft. Az U-SQL lényege, hogy kombinálja a SQL deklaratív jellegét a C# rugalmasságával és kiterjeszthetőségével.

A Microsoft a múlt héten jelentette be vadonatúj Azure fejlesztéseit és bővülő szolgáltatáspalettáját. A bejelentések között szerepelt az Azure Data Lake is, amely hatalmas mennyiségű strukturálatlan adat "ömlesztett" tárolásához és elemzéséhez használható. A szolgáltatás fontos eleme a Data Lake Analytics, amely egy új elosztott feldolgozó és elemző rendszer, Apache YARN alapokon. A bejelentés része egy új lekérdezési nyelv, az U-SQL is. Mit tud és mire jó?

"Tudjuk, hogy rengeteg fejlesztő és statisztikus szenved a nagy adathalmazok feldolgozásával a meglévő technológiákkal és eszközökkel" - mondta T. K. Ranga Rengarajan a Microsoft Data Platform igazgatója kapcsolódó blogposztjában. "Az általános programozási nyelveken írt megoldások hatékonyak lehetnek, de komoly tanulást igényelnek, míg az SQL-alapú eszközök egyszerűbb indulást, de korlátozott kiterjeszthetőséget nyújtanak". A Microsoft szerint az áthidaló megoldás az U-SQL, egy új lekérdezőnyelv, amely "egyesíti az SQL könnyű használatát a C# kifejező erejével."

"Az U-SQL lényege, hogy az SQL lekérdezések bővítését tesz lehetővé a C#-hoz hasonló szintaxisú kifejezésekkel illetve függvényekkel. Ennek megfelelően a nyelv alapjait a C# alaptípusai képezik, a legkérdezések pedig a LINQ-hez hasonló szintaxis mentén történnek. Az U-SQL lekérdezések egy lépésben tudják a strukturálatlan adatokat struktúrákba rendezni, majd ezeken számításokat, kereséseket végezni" - foglalja össze a prog.hu.

A nyelv támogatását az Azure Data Lake Tools for Visual Studio implementálja, ezt telepítve hozzáférhetőek a szokásos programozási, hibakeresési és teljesítményelemzési eszközök az új nyelv alatt is. A nyelv fejlesztésénél felhasználták a SCOPE kísérlet eredményeit és a T-SQL, hagyományos SQL és Hive nyelvvel szerzett tapasztalatokat is.

A U-SQL másik újdonsága az alatta dolgozó elosztott futtatómotor, amely a szükséges absztrakciót képes elvégezni a fejlesztő helyett és képes a megírt kódot skálázni a Data Lake Analytics infrastruktúráján. A feladat nem triviális, a Microsoft szerint az U-SQL lekérdezések akár több ezer node-on tudnak skálázódni, anélkül, hogy ezt a megírt lekérdezésben kezelni kellene. További fontos előny, hogy a strukturálatlan adatok mellett az U-SQL ugyanúgy használható a relációs adatbázisokban tárolt adatok elemzésére is, például Azure SQL Database-hez.

Mit gondolsz? Mondd el!

Adatvédelmi okokból az adott hír megosztása előtt mindig aktiválnod kell a gombot! Ezzel a megoldással harmadik fél nem tudja nyomon követni a tevékenységedet a HWSW-n, ez pedig közös érdekünk.