Nvidia dan Groq: era baru inferensi atau ekspektasi pasar?

Di media, kemungkinan integrasi teknologi LPU (Language Processing Unit) dari Groq ke dalam sistem inferensi masa depan #Nvidia $NVDAon sedang dibahas secara aktif. LPU adalah arsitektur khusus untuk pemrosesan model bahasa besar, yang berbeda dari GPU tradisional.

Ini dirancang untuk meminimalkan latensi dan kecepatan komputasi yang stabil berkat volume SRAM yang besar langsung di chip.

Groq memposisikan pendekatannya sebagai cara untuk mengatasi bottleneck bandwidth memori — salah satu masalah kunci selama inferensi LLM. Selain itu, penggunaan memori 3D-stacking untuk meningkatkan efisiensi juga sedang dibahas secara aktif di industri.

Sementara itu, penting untuk dipahami: hingga saat ini, tidak ada konfirmasi resmi tentang integrasi penuh LPU ke dalam produk masa depan Nvidia. Sebagian informasi didasarkan pada wawasan industri dan asumsi analitis.

Fakta tetap tidak berubah: pasar bergerak ke arah chip AI khusus yang dioptimalkan khusus untuk inferensi. Jika Nvidia benar-benar mempertaruhkan arsitektur mirip LPU, ini dapat secara signifikan mengubah keseimbangan kekuatan di segmen akselerator AI.