Micron Nghiên Cứu Flash "Near-GPU NAND" Nhằm Mở Rộng Dung Lượng Bộ Nhớ AI
Micron đang nghiên cứu các mô-đun bộ nhớ flash "near-GPU NAND" có độ bền cao, được đặt trực tiếp bên trong đóng gói GPU hoặc trên bo mạch PCB. Kiến trúc này cung cấp cho GPU khả năng truy cập trực tiếp vào hàng trăm gigabyte bộ nhớ NAND tốc độ cao cho các tải công việc AI không quá nhạy cảm với độ trễ. Ý tưởng này giúp vượt qua giới hạn dung lượng VRAM nghiêm ngặt trong quá trình suy luận LLM, cho phép các mô hình AI khổng lồ chạy trên ít GPU vật lý hơn. Nó thiết lập một tầng trung gian mới trong phân cấp bộ nhớ, nằm giữa VRAM siêu nhanh đắt đỏ (như HBM) và các tập hợp lưu trữ truyền thống chậm hơn. Khác với NAND TLC hoặc QLC tiêu chuẩn, các chip near-GPU này có mật độ lưu trữ thấp hơn để ưu tiên băng thông I/O, tốc độ và độ bền cao hơn. Hoạt động tương tự như cách tích hợp HBM hoặc GDDR7, mô-đun này đóng vai trò như một tầng bộ nhớ đệm nhanh mà GPU có thể truy cập trực tiếp mà không cần đi qua các tuyến bus lưu trữ đa giao thức.
## KIẾN THỨC NỀN
Chạy các mô hình ngôn ngữ lớn (LLM) đòi hỏi phải lưu giữ hàng tỷ tham số và dữ liệu ngữ cảnh trong bộ nhớ khi suy luận. Bộ nhớ băng thông cao (HBM) cung cấp tốc độ cần thiết nhưng bị giới hạn về dung lượng và rất đắt đỏ, trong khi ổ SSD NVMe tiêu chuẩn lại có độ trễ cao do kết nối qua PCIe. Việc đặt bộ nhớ flash NAND tùy chỉnh ngay cạnh GPU sẽ giải quyết nút thắt bộ nhớ bằng cách mở rộng dung lượng sử dụng với chi phí thấp hơn.