Quantization-Aware Healing: Mô hình nén 4-bit vượt trội hơn phiên bản gốc
Các nhà nghiên cứu đã giới thiệu "Quantization-Aware Healing" (QAH), một kỹ thuật mới được thiết kế để khôi phục khả năng lập luận và lập trình trong các mô hình ngôn ngữ lớn 4-bit được nén cấu trúc. Phương pháp này được cho là giúp mô hình 4-bit sau khi nén vượt qua cả hiệu suất của phiên bản gốc có độ chính xác đầy đủ. Quá trình lượng tử hóa thường làm giảm hiệu suất của mô hình, nhưng QAH đã phá vỡ sự đánh đổi này bằng cách cho phép các mô hình 4-bit hiệu quả cao đạt được độ chính xác vượt trội. Điều này có thể giảm đáng kể rào cản phần cứng để triển khai các LLM tiên tiến trên các thiết bị tiêu dùng mà không làm giảm chất lượng. QAH khôi phục các khả năng của mô hình nén nhanh hơn so với phương pháp Huấn luyện nhận thức lượng tử hóa (QAT) truyền thống. Kỹ thuật này đặc biệt nhắm vào việc khôi phục các kỹ năng lập trình và lập luận phức tạp trong các LLM được nén cấu trúc.
## KIẾN THỨC NỀN
Lượng tử hóa mô hình (Model quantization) là một kỹ thuật tối ưu hóa học máy giúp giảm độ chính xác số học của các trọng số trong mô hình, ví dụ như chuyển đổi từ số thực dấu phẩy động 16-bit sang số nguyên 4-bit, nhằm giảm dung lượng bộ nhớ và tăng tốc độ suy luận. Thông thường, quá trình nén này dẫn đến suy giảm độ chính xác, điều mà các nhà nghiên cứu cố gắng giảm thiểu bằng các phương pháp như Huấn luyện nhận thức lượng tử hóa (QAT) để điều chỉnh trọng số trong hoặc sau quá trình huấn luyện.