Nvidia demarează fabricarea sistemelor Groq
Nvidia a anunțat că sistemele Groq 3 LPX au intrat în producție de serie și vor deveni operaționale până la sfârșitul acestui an, marcând prima comercializare importantă a tehnologiei preluate prin cea mai mare achiziție din istoria companiei, desfășurată în decembrie, când a cumpărat activele startup-ului Groq pentru 20 de miliarde de dolari.
Acum, Nvidia încearcă să introducă rapid tehnologia în centrele de date, pe fondul creșterii cererii pentru sisteme capabile să ofere răspunsuri AI aproape instantaneu. Primele rack-uri Groq 3 LPX vor fi instalate la furnizorul de infrastructură cloud Nebius, alături de procesoarele Vera și GPU-urile Rubin ale Nvidia, a declarat Dion Harris, director senior al companiei.
Groq este specializat în cipuri destinate procesului de „inference”, adică etapa în care un model AI deja antrenat generează efectiv răspunsurile solicitate de utilizator. Reducerea latenței devine tot mai importantă odată cu dezvoltarea agenților AI și a instrumentelor pentru programare, unde utilizatorii se așteaptă ca sistemele să reacționeze foarte rapid.
Potrivit Nvidia, operatorii cloud ar putea chiar să ofere servicii premium, mai scumpe, clienților care solicită timpi foarte mici de răspuns. Fiecare rack LPX include 256 de cipuri Groq 3. Nvidia afirmă că sistemul poate furniza aproximativ 3.400 de tokeni pe secundă, citând un benchmark realizat de Artificial Analysis.
Arhitectura Groq include 500 MB de memorie SRAM integrată direct pe cip, o soluție menită să reducă blocajele asociate accesului la memorie. Cipurile Groq sunt fabricate de Samsung, în timp ce GPU-urile Nvidia sunt produse de TSMC. Compania precizează însă că aceste procesoare nu sunt concepute pentru a înlocui GPU-urile. GPU-urile pot fi utilizate atât pentru antrenarea modelelor AI, cât și pentru inference, în timp ce cipurile cu latență redusă precum Groq sunt concentrate în special pe etapa de „decode”, când modelul generează răspunsul.
„Nu este vorba despre înlocuirea GPU-urilor”, a declarat Harris. Obiectivul este folosirea procesorului potrivit pentru fiecare parte a sarcinii de calcul. Nvidia se confruntă și cu rivali care dezvoltă soluții pentru inference cu latență redusă. AMD a anunțat în acest an că va integra sistemele sale la nivel de rack cu cipuri produse de Cerebras.
În același timp, Nvidia accelerează livrările sistemelor Vera Rubin, care au intrat în producție la începutul acestui an. CEO-ul Jensen Huang a estimat în martie că generația Blackwell și noile sisteme Vera Rubin ar putea genera împreună vânzări cumulate de 1.000 de miliarde de dolari până în 2027. Huang a mai spus că aproximativ un sfert din spațiul centrelor de date destinat aplicațiilor de programare ar putea fi alocat cipurilor Groq, restul urmând să utilizeze în principal sistemele Vera Rubin.
Anunțul privind Groq vine înaintea unui alt moment important pentru Nvidia: compania urmează să își publice miercuri rezultatele financiare.
