Intel lansirao Gaudi 3 AI akcelerator

Intel je službeno predstavio Xeon 6 s jezgrama performansi i Gaudi 3 akceleratorima. Xeon 6 procesori udvostručuju performanse svojih prethodnika, s povećanim brojem jezgri, većom propusnošću memorije i ugrađenim AI ubrzanjem, opskrbljujući AI aplikacije od edgea do oblaka.

Gaudi 3 AI Accelerator, prilagođen je za generativni AI, i opremljen sa 64 Tensor procesorske jezgre, 8 mehanizama za množenje matrica i 128 GB HBM2e memorije, nudeći do 20% veću propusnost i dvostruko veći omjer cijene i performanse u usporedbi s Nvidijinim H100 AI GPU-m za LLaMa 2 70B model zaključivanja.

Intel kaže da Gaudi 3 može ponuditi do 1856 BF16/FP8 matričnih TFLOPS-a, kao i do 28,7 BF16 vektorskih TFLOPS-a pri oko 600 W TDP-a.

U usporedbi s Nvidijinim H100, Gaudi 3 prema Intelu nudi nešto niže performanse BF16 matrice (1856 naspram 1979 TFLOPS), dva puta niže performanse FP8 matrice (1856 naspram 3958 TFLOPS) i znatno niže BF16 vektorske performanse (28,7 naspram 1979 TFLOPS).

Jedan od glavnih aduta Gaudija 3 je cijena, jer je Intel početkom godine objavio da će akcelerator temeljen na 8 Gaudi 3 procesora na osnovnoj ploči koštati 125.000 dolara, što ispada da će jedan koštati 15.678 dolara. S druge strane Nvidia H100 kartica se trenutno prodaje po cijeni od 30.678 dolara pa ispada da će Inteleovo rješenje biti upola jeftinije od Nvidijinog, mada performanse ostaju na strani Nvidije.

Gaudi 3 AI akceleratori bit će dostupni u IBM Cloudu i Intel Tiber Developer Cloudu, dok će sustavi temeljeni na Xeonu 6 i Gaudiju 3 stići u Dell, HPE i Supermicro sustave u četvrtom tromjesečju ove godine.

Naravno, još trebamo vidjeti kako će se Gaudi 3 ponašati u "stvarnom" svijetu, odnosno je li dovoljno učinkovit da se tvrtkama isplati više od H100.