UkisAI phát hành các mẫu Swift với việc giảm lượng token suy luận
UkisAI đã phát hành Swift GLM-5.3-Flash và Swift Ornith 9B, đạt mức giảm hơn 57% lượng token sử dụng với độ mất mát độ chính xác không đáng kể trên các tác vụ suy luận phức tạp. Điều này đạt được bằng cách phạt các token liên quan đến hiện tượng suy luận quá mức bệnh lý và áp dụng học tăng cường kết hợp với phương pháp chưng cất theo chính sách. Bản phát hành này cải thiện đáng kể hiệu suất suy luận và tốc độ của các mô hình ngôn ngữ lớn trong các tác vụ suy luận bằng cách khắc phục các vòng lặp suy luận thừa thãi. Các tối ưu hóa này giúp giảm chi phí vận hành và yêu cầu phần cứng khi triển khai các mô hình AI tiên tiến vào thực tế. Swift GLM-5.3-Flash đạt mức giảm 61.4% token suy luận trên MMLU-PRO với độ mất mát độ chính xác trung bình chỉ 0.46% qua nhiều bộ chuẩn đánh giá, trong khi Swift Ornith 9B giảm 33.5% token suy luận mà không làm giảm độ chính xác. Nhiều định dạng lượng tử hóa khác nhau bao gồm GGUF (1-bit đến 8-bit), W4A16AWQ và NVFP4 cũng được cung cấp cho cộng đồng.
## KIẾN THỨC NỀN
Chưng cất theo chính sách là một kỹ thuật chưng cất kiến thức trong đó mô hình học sinh tự tạo ra các chuỗi token của riêng mình và nhận sự giám sát hoặc chấm điểm chi tiết từ một mô hình giáo viên có hiệu suất cao. Hiện tượng suy luận quá mức bệnh lý xảy ra khi các mô hình ngôn ngữ lớn tiếp tục suy luận vượt quá mức cần thiết, gây lãng phí tài nguyên tính toán và đôi khi gây ra lỗi.