Phương pháp giải mã suy đoán sử dụng bản nháp VRAM 2-bit và phần dư RAM hệ thống
Một lập trình viên đã giới thiệu kỹ thuật giải mã suy đoán lưu trữ mô hình nháp 2-bit trong VRAM và trọng số phần dư chính xác (6-8 bit) trong RAM hệ thống để chạy các mô hình lớn trên thiết bị có tài nguyên hạn chế. Bản sao 2-bit tạo ra các token nháp, CPU xử lý việc xác minh phần dư và chỉ có các activation truyền qua bus PCIe. Phương pháp này cho phép chạy các mô hình ngôn ngữ lớn cục bộ trên các cấu hình phần cứng mà các mô hình độ chính xác cao tiêu chuẩn hoặc lượng tử hóa Q8 đầy đủ vượt quá dung lượng VRAM có sẵn. Bằng cách cắt giảm truyền dữ liệu RAM và tái sử dụng bộ nhớ đệm KV của bộ xác minh, nó đạt được tỷ lệ token được chấp nhận cao hơn so với các mô hình tạo nháp thông thường. Các thử nghiệm cho thấy bản nháp 2-bit kết hợp với phần dư 8-bit có phân phối gần với bf16 hơn so với Q8_0 tiêu chuẩn, trong khi phần dư 6-bit đọc ít hơn khoảng 28% số byte từ RAM. Ngoài ra, bản nháp này tái sử dụng bộ nhớ đệm KV của bộ xác minh để đạt được số lượng token được chấp nhận mỗi lần kiểm tra cao hơn 25-30% so với mô hình nháp Gemma 4 chính thức của Google.
## KIẾN THỨC NỀN
Giải mã suy đoán là một kỹ thuật tối ưu hóa trong giai đoạn suy luận, trong đó một mô hình nháp nhỏ và nhanh hơn đề xuất các token ứng viên, sau đó mô hình mục tiêu lớn hơn sẽ xác minh chúng trong một lần truyền song song duy nhất. Lượng tử hóa làm giảm độ chính xác của trọng số mô hình và các activation để tiết kiệm bộ nhớ và tăng tốc độ suy luận, mặc dù việc nén bit thấp quá mức thường làm giảm chất lượng mô hình.