Báo cáo của Micron vạch rõ nút thắt cổ chai ngày càng lớn của bộ nhớ AI
Dữ liệu từ Micron trình bày tại Hot Chips cho thấy trong khi hiệu năng tính toán AI tăng khoảng 3 lần sau mỗi hai năm, băng thông HBM chỉ tăng dưới 2 lần. Khoảng cách ngày càng lớn này buộc ngành công nghiệp phải hướng tới các giải pháp near-memory và xử lý tại bộ nhớ (PIM), điển hình là LPDDR5X tích hợp PIM của Samsung đạt tốc độ tạo token tăng 3,01 lần trên Llama 3.1 8B. Do quá trình suy luận mô hình ngôn ngữ lớn (LLM) bị giới hạn nghiêm trọng bởi băng thông bộ nhớ thay vì sức mạnh tính toán thuần túy, việc chỉ tăng cường GPU/TPU truyền thống không còn mang lại hiệu quả tối ưu. Việc tích hợp khả năng tính toán trực tiếp vào kiến trúc bộ nhớ đang nhanh chóng trở thành một chuyển dịch tất yếu cho hiệu suất phần phần cứng AI tương lai. Biểu đồ được trình bày so sánh mức tăng trưởng tính toán từ Google TPU v3 đến Nvidia R200 với sự phát triển băng thông bộ nhớ từ HBM2e đến HBM4 trên thang đo logarit, minh họa sự phân kỳ ngày càng nhanh. Các giải pháp khắc phục được đề xuất bao gồm việc đặt bộ nhớ gần bộ xử lý hơn về mặt vật lý qua các đường kết nối ngắn hơn cho đến việc nhúng trực tiếp các đơn vị nhân-cộng vào bên trong các chip bộ nhớ.
## KIẾN THỨC NỀN
Khái niệm 'bức tường bộ nhớ' (memory wall) đề cập đến sự mất cân bằng hiệu năng ngày càng lớn giữa tốc độ tính toán nhanh của bộ xử lý và băng thông truyền dữ liệu tương đối chậm của bộ nhớ. Trong các tác vụ AI như suy luận LLM, bộ xử lý phải tốn nhiều thời gian chờ đợi để các tham số mô hình khổng lồ di chuyển từ DRAM hoặc HBM bên ngoài vào các thanh ghi tính toán. Kiến trúc xử lý tại bộ nhớ (Processing-in-Memory - PIM) giải quyết nút thắt này bằng cách bổ sung các đơn vị xử lý nhỏ ngay bên trong chip bộ nhớ để tính toán dữ liệu tại chỗ mà không cần truyền qua bus bộ nhớ ngoài.