Groq LPU thế hệ tiếp theo của NVIDIA chuyển sang sử dụng DRAM xếp chồng 3D

Các báo cáo cho biết bộ tăng tốc suy luận AI Groq LPU thế hệ tiếp theo của NVIDIA sẽ áp dụng công nghệ DRAM xếp chồng 3D sử dụng công nghệ TSV, thay thế thiết kế SRAM dung lượng lớn truyền thống. Quá trình chuyển đổi này đánh dấu một bước ngoặt lớn về kiến trúc nhằm vượt qua các nút thắt cổ chai về dung lượng bộ nhớ khi xử lý các mô hình lớn. Kiến trúc SRAM dung lượng lớn truyền thống đối mặt với những giới hạn vốn có về mật độ và dung lượng khi xử lý các mô hình AI quy mô lớn. Việc chuyển sang DRAM xếp chồng 3D phản ánh xu hướng chung của toàn ngành nhằm vượt qua các nút thắt về băng thông và dung lượng bộ nhớ cho các bộ tăng tốc AI thế hệ mới. Kiến trúc sắp tới dựa trên công nghệ Cổng xuyên silicon (TSV) để tích hợp DRAM theo chiều dọc, tương tự như các bước đi của đối thủ cạnh tranh như Cerebras với lộ trình CS-6 của họ. Điều này giúp phần cứng vượt qua những hạn chế về hiệu suất mật độ sản xuất vốn gắn liền với các giải pháp SRAM cũ.