Chạy đồng thời 8 tác nhân AI với ngữ cảnh 250K trên 2 card RTX 3090
Một lập trình viên đã chạy thành công 8 tác nhân lập trình đồng thời, mỗi tác nhân có ngữ cảnh 250K trên hai GPU RTX 3090 bằng cách chuyển toàn bộ bộ nhớ đệm KV sang RAM hệ thống và sử dụng bản phác thảo khóa rank-64 để truy xuất token. Bước đột phá này minh họa một cách triển khai cục bộ mới lạ về cơ chế attention thưa và chuyển đổi bộ nhớ đệm KV, giúp đạt được thông lượng cao cho việc chạy LLM ngữ cảnh dài trên phần cứng phổ thông. Hệ thống sử dụng các kernel Triton tùy chỉnh để xây dựng bản phác thảo khóa rank-64 và chỉ lấy khoảng 1% token liên quan hàng đầu cho mỗi bước giải mã qua kết nối PCIe, đạt tổng cộng khoảng hơn 600 token mỗi giây trên 8 tác nhân.
## KIẾN THỨC NỀN
Việc chuyển tải bộ nhớ đệm KV lưu trữ trạng thái khóa-giá trị của mô hình transformer trong bộ nhớ chính hoặc bộ nhớ phụ thay vì VRAM GPU khan hiếm, giúp giảm đáng kể mức tiêu thụ bộ nhớ cho các tác vụ ngữ cảnh dài. Cơ chế attention thưa làm giảm chi phí tính toán bằng cách chỉ tập trung vào một tập hợp con các token thay vì tính toán toàn bộ attention trên toàn bộ cửa sổ ngữ cảnh.