Vì sao RAM 64GB không còn là khoảng trống vô dụng cho các tác nhân AI cục bộ

Một người dùng đã chứng minh rằng việc chạy mô hình 27B để lập trình tác nhân với cửa sổ ngữ cảnh lớn trên phần cứng M4 Max 64GB tận dụng tối đa dung lượng bộ nhớ. Mức sử dụng RAM đã đạt gần 50GB do trọng số mô hình và bộ nhớ đệm KV khổng lồ tích tụ. Điều này thách thức quan niệm truyền thống rằng 64GB là mức dung lượng bất hợp lý đối với các mô hình ngôn ngữ lớn chạy cục bộ, chứng minh đây là điểm ngọt khi tính đến các quy trình tác nhân hiện đại. Khi cửa sổ ngữ cảnh mở rộng, yêu cầu về bộ nhớ chuyển dịch từ việc chỉ phụ thuộc vào trọng số mô hình sang việc chịu ảnh hưởng lớn bởi chi phí bộ nhớ đệm. Việc chạy mô hình Qwen 27B với cửa sổ ngữ cảnh 256k tiêu tốn khoảng 48GB, trong đó tính năng lưu đệm lời nhắc đóng vai trò quan trọng trong việc duy trì thời gian suy luận hợp lý. Nếu không có bộ nhớ đệm hiệu quả, quá trình nạp trước toàn bộ mất khoảng 20 phút, làm nổi bật sự đánh đổi giữa dung lượng phần cứng và hiệu năng.