UkisAI Ra Mắt Swift-Qwen3.8-27B: Suy Luận Nhanh Gấp 2 Lần Với Độ Chính Xác Gần Như Không Đổi
UkisAI đã mở mã nguồn mô hình Swift-Qwen3.8-27B, một mô hình suy luận được hậu huấn luyện giúp giảm 58,3% lượng token suy luận và tăng tốc độ tạo văn bản lên gần 2 lần trong khi tỷ lệ sụt giảm độ chính xác dưới 1%. Nhóm phát triển đạt được điều này bằng cách xử phạt các chuỗi token liên quan đến vòng lặp suy nghĩ dư thừa và khôi phục hiệu suất bằng phương pháp On-Policy Distillation. Các mô hình ngôn ngữ suy luận thường lãng phí tài nguyên tính toán và thời gian sinh văn bản vào các vòng lặp "suy nghĩ quá đà" mà không giúp cải thiện chất lượng câu trả lời. Kỹ thuật này chứng minh rằng quá trình hậu huấn luyện có thể tối ưu hóa độ dài suy luận một cách hiệu quả mà không cần cắt giảm token gượng ép, giúp việc triển khai AI mã nguồn mở nhanh và tiết kiệm hơn. Bản phát hành bao gồm trọng số trên HuggingFace, các định dạng định lượng GGUF (Q1–Q8), cùng các phiên bản NVFP4 và W4A16 do cộng đồng đóng góp, đi kèm API nghiên cứu miễn phí giới hạn lượt gọi chạy trên GPU Nvidia. Khác với việc giới hạn ngữ cảnh hay quy tắc chat template thông thường, phương pháp này nhắm mục tiêu xử phạt riêng các mẫu token suy nghĩ dư thừa xuất hiện ở cả mô hình định lượng lẫn bản gốc BF16.
## KIẾN THỨC NỀN
Các mô hình suy luận hiện đại sử dụng chuỗi suy nghĩ (Chain-of-Thought) để tạo ra các token "tư duy" trung gian trước khi đưa ra kết quả, nhưng chúng rất dễ rơi vào các vòng lặp tính toán lặp đi lặp lại. Chắt lọc Tri thức Trên Chính Sách (On-Policy Distillation) là một kỹ thuật tối ưu hóa, trong đó mô hình sinh viên tự tạo ra các quỹ đạo suy luận trong quá trình huấn luyện và được mô hình giáo viên hướng dẫn để tinh chỉnh hành vi đầu ra.