Sabi-Noema: Bản Tinh Chỉnh Tập Trung Vào Năng Lực và Hiệu Suất của Qwen 27B
Các nhà phát triển đã ra mắt Sabi-Noema và Sabi-Noema-MLA, hai phiên bản hậu huấn luyện của mô hình Qwen 27B nhằm nâng cao năng lực lập trình và gọi công cụ, đồng thời giảm 50% độ dài token phản hồi. Biến thể MLA chuyển đổi cơ chế chú ý GQA của Qwen hậu kỳ để giảm đáng kể dung lượng bộ nhớ đệm KV và yêu cầu về bộ nhớ. Những mô hình này đẩy lùi giới hạn của các mô hình trọng số mở dưới 30B bằng cách mang lại hiệu suất suy luận cao hơn đáng kể và chiều dài ngữ cảnh lớn hơn nhiều trên các GPU phổ thông như RTX 3090 hoặc 4090. Bước tiến này giúp các nhà phát triển chạy các tác vụ tác nhân phức tạp cục bộ với chi phí thấp hơn và thời gian phản hồi nhanh hơn. Sabi-Noema-MLA sử dụng một tập dữ liệu hiệu chỉnh mà không cần huấn luyện thêm để đạt được dung lượng bộ nhớ đệm KV nhỏ hơn tới 8,4 lần khi dùng lượng tử hóa FP8, cho phép GPU 24GB đạt chiều dài ngữ cảnh khoảng 534K. Ngoài ra, các mô hình này thể hiện tỷ lệ ảo giác thấp hơn đáng kể so với các lựa chọn cạnh tranh.
## KIẾN THỨC NỀN
Tinh chỉnh (fine-tuning) là quá trình lấy một mô hình học máy đã được huấn luyện trước và điều chỉnh thêm trên các tập dữ liệu cụ thể để cải thiện hiệu suất trong các lĩnh vực chỉ định như lập trình hoặc sử dụng công cụ. Việc tối ưu hóa bộ nhớ đệm KV, chẳng hạn như Chú ý tiềm ẩn đa đầu (MLA), giúp giảm lượng bộ nhớ cần thiết trong quá trình suy luận ngữ cảnh dài bằng cách nén các cặp khóa-giá trị.