NVIDIA giải quyết nút cổ chai bộ nhớ AI bằng thiết kế đồng bộ toàn ngăn xếp
NVIDIA đã giới thiệu phương pháp thiết kế đồng bộ toàn ngăn xếp để chống lại bức tường bộ nhớ AI, đạt mức tăng thông lượng tác tử trên mỗi đô la lên tới 30 lần trong khi dung lượng HBM chỉ tăng khoảng 3%. Sự thay đổi này chứng minh rằng chìa khóa cạnh tranh trong điện toán AI đang chuyển dịch từ dung lượng bộ nhớ thô sang việc khai thác hiệu quả cao hơn trên mỗi byte và watt, qua đó giảm thiểu tình trạng căng thẳng nguồn cung HBM. Giải pháp tối ưu hóa tận dụng định dạng độ chính xác thấp NVFP4, phân tán trọng số mô hình trên tối đa 72 GPU trong hệ thống NVL72, bộ đệm LPDDR của CPU Vera và phần mềm suy luận Dynamo để quản lý các ngữ cảnh không hoạt động và chỉ mục RAG bên ngoài HBM.
## KIẾN THỨC NỀN
Bộ nhớ băng thông cao (HBM) là loại DRAM xếp chồng 3D hiệu suất cao rất cần thiết cho các bộ tăng tốc AI hiện đại, nhưng nó phải chịu những hạn chế nghiêm trọng về nguồn cung và chi phí cao. Bộ đệm KV lưu trữ các khóa và giá trị chú ý trong quá trình suy luận của mô hình ngôn ngữ lớn nhằm tăng tốc độ sinh dữ liệu, trong khi RAG (Tăng cường tạo sinh bằng truy xuất) tích hợp các cơ sở dữ liệu tri thức bên ngoài vào câu lệnh để cải thiện độ chính xác của mô hình.