Megújult az iparági szabványnak számító SPEC CPU teszt

[HWSW] Augusztus végén mutatta be a Standard Performance Evaluation Corp. (SPEC) a CPU2000 tesztcsomag régóta várt utódját, a CPU2006-ot. Az új szoftver segítségével a szakma remélhetőleg reálisabb képet kaphat az egyes számítógép-architektúrák teljesítményével kapcsolatban, mivel az alkalmazott altesztek jobban tükrözik a ma használatos szoftverek számításigényes kódjainak felépítését. A CPU2006 pontszámai nem összehasonlíthatóak a CPU2000 változatéval, így új viszonyítási alapokat kell megtanulnunk.

Iparági szabvány

A SPEC CPU teszt célja, hogy az egyes architektúrák számítási teljesítményét sztenderdizált formában mérje fel a processzor, a memóriaalrendszer és a compiler-technológia hármas láncolatának terhelésével. A tesztcsomag 2 alcsomaggal 4 főbb metrikát ad meg: az egész számokkal történő műveletek (SPECint2006), és a lebegőpontos teljesítmény (SPECfp2006) képezik az altesztek csoportosításának alapját, míg az egy szálon történő (tehát szoftveroldalról szekvenciális) végrehajtási sebesség mellett a több feladat párhuzamos végrehajtásának képességét (áteresztőképességnek is szokták nevezni a memóriaalrendszer terhelése miatt) több tesztpéldány egyidejű futtatásával mérik fel (SPECint_rate2006 és SPECfp_rate2006), ezzel rávilágítva a skálázódásra.

A CPU2006 C, C++ és Fortran nyelveken íródott kódokat tartalmaz, melyek számításigényes feladatokat hajtanak végre, mint a videotömörítés, mesterséges intelligencia, kvantumfizika, éghajlat modellezés, génszekvencia keresése, így inkább a technikai, multimédiás munkaállomások, illetve a műszaki-, tudományos és vizualizációs számításokat végző szerverek esetében mutathat relevanciát. A kevés számítást igénylő, a memóriaalrendszert, illetve a kommunikációt terhelő szerverfeladatok számára kevéssé mérvadó, azokat más SPEC, és iparágilag széles körben elfogadott tesztek mérik, ahogyan a PC-s világnak is megvannak a maga bevett szoftverei.

Modernebb, jobb, de hasonló

A CPU2000-hez képest bár több módosítást eszközöltek a lefedett területekkel kapcsolatban, így például megjelent az XML-ben tárolt dokumentumok exportálása, mint a jövő egyik fő adattárolási és -megosztási formátumának kezelése, alapvetően a tesztcsomag fókusza nem változott meg. A CPU2000-rel szembeni egyik legtöbbet hangoztatott kritika -- elévülő kódjai mellett -- hogy egyes compilerek a mérési politikák betartása mellett is olyan szintre optimalizálták a kódot a SPEC-csomag futtatásának érdekében, ami már értéktelenné tette a méréseket, mivel nyilvánvaló módon az a teljesítmény valódi, éles alkalmazások alatt nem jelentkezne -- kivéve, ha a SPEC-kódjára kísértetiesen hasonlító kódot futtatnák.

Az új CPU2006 így nem csak azzal növeli hasznosságát, hogy frissebb, modernebb kódokat gyűjt össze (például tartalmazza a POV-Ray raytracing technikát alkalmazó renderelőt is), hanem a compilerek fejlesztői finomhangolói számára egyúttal "ismeretlen" forráskódot tartalmaz, így egy ideig még remélhetőleg nem születnek irreálisan felpumpált eredmények.

Ezekkel a változásokkal az egyes architektúrák viszonya is látványosan megváltozott, így az eddig azokról kialakult kép is változás előtt áll. A hatás átfogóbb kiértékelésére még várni kell, ugyanis még túlságosan kevés CPU2006 eredmény áll rendelkezésre, de eddig úgy tűnik, hogy az egyik nyertes az Itanium és a Core 2/Xeon lehet, míg a legnagyobb vesztesek az Opteronok.

A CPU tesztekben közzétett Base eredmények a kevés compiler-optimalizációt, míg a Peak eredmények a tetszőleges számú finomhangolási opcióval elért teljesítményt mutatják. A referenciagép egy Sun Ultra Enterprise 2 munkaállomás, 296 megahertzes UltraSPARC II processzorral, melynek a pontszáma 1. Összehasonlításképpen egy Core 2 Extreme X6800 chip (2,93 GHz) 18,5 és 16,8 pontot ér el egész és lebegőpontos számítások alatt.