Asianometry Khám Phá Công Nghệ High Bandwidth Flash Cho Phụ Tải AI
Kênh giáo dục công nghệ nổi tiếng Asianometry đã phân tích High Bandwidth Flash (HBF), một kiến trúc bộ nhớ dựa trên NAND mới do SanDisk tiên phong nhằm giải quyết các giới hạn bộ nhớ trong phần cứng AI. HBF kết nối song song nhiều mảng flash 3D NAND để tăng mạnh băng thông trong khi vẫn giữ dung lượng lưu trữ lớn. Khi các mô hình ngôn ngữ lớn (LLM) tiếp tục mở rộng quy mô, bộ nhớ High Bandwidth Memory (HBM) truyền thống đối mặt với giới hạn dung lượng và chi phí sản xuất đắt đỏ. HBF hứa hẹn cung cấp dung lượng gấp 8 đến 16 lần HBM ở băng thông tương đương, cho phép một GPU đơn lẻ chạy các mô hình AI khổng lồ hiệu quả hơn nhiều. HBF tận dụng công nghệ CMOS directly Bonded to Array (CBA) của SanDisk để cho phép truy cập song song các mảng NAND, đạt dung lượng lên tới 4TB trên các bộ tăng tốc GPU. Tuy nhiên, do dựa trên bộ nhớ flash thay vì DRAM, các nhà kiến trúc hệ thống phải tính đến các đặc tính độ trễ riêng biệt và giới hạn độ bền ghi dữ liệu.
## KIẾN THỨC NỀN
Quá trình suy luận AI phụ thuộc rất lớn vào băng thông bộ nhớ nhanh để truyền hàng tỷ tham số mô hình đến các nhân tính toán, tạo ra hiện tượng nghẽn cổ chai gọi là bức tường bộ nhớ (memory wall). High Bandwidth Memory (HBM) xếp chồng các chip DRAM theo chiều dọc để đạt tốc độ cao, nhưng giới hạn mật độ vật lý khiến việc mở rộng dung lượng trở nên rất tốn kém. Bộ nhớ Flash (NAND) mang lại mật độ cao và chi phí thấp hơn trên mỗi gigabyte, nhưng trước đây luôn gặp bất lợi vì tốc độ đọc ghi chậm hơn nhiều so với DRAM.