Luth-2: Ra mắt các mô hình ngôn ngữ nhỏ tiếng Pháp tiên tiến nhất
Dự án Luth-2 đã phát hành hai mô hình ngôn ngữ nhỏ mới là Luth-2-0.8B và Luth-2-2B, thiết lập tiêu chuẩn hiệu năng mới (SOTA) cho các tác vụ tiếng Pháp. Các mô hình này sử dụng kiến trúc Qwen3.5 làm nền tảng và áp dụng các kỹ thuật hậu đào tạo tiên tiến như chưng cất chính sách trên nhiều miền (MOPD). Các mô hình này chứng minh rằng những mô hình nhỏ, chạy cục bộ vẫn có thể vượt trội hơn các mô hình lớn hơn gấp ba lần trong các tác vụ phi tiếng Anh nếu được tối ưu hóa đúng cách. Điều này làm nổi bật tiềm năng to lớn chưa được khai phá trong việc tinh chỉnh các mô hình ngôn ngữ nhỏ cho các ngôn ngữ phổ biến ngoài tiếng Anh. Luth-2 được huấn luyện trên một tập hợp SFT mới gồm 3 tỷ token bao gồm các lĩnh vực như lập trình, toán học và gọi công cụ (tool calling), kết hợp với học tăng cường. Trong các bài kiểm tra hiệu năng, Luth-2-2B đạt 69,67 điểm trên Multi-IF và 81,52 điểm trên Math-500, vượt qua Gemma-4-E2B-it.
## KIẾN THỨC NỀN
Chưng cất chính sách trên nhiều miền (MOPD) là một kỹ thuật trong đó nhiều mô hình giáo viên chuyên biệt truyền đạt tri thức của họ vào một mô hình học sinh duy nhất dựa trên các đầu ra do chính học sinh tạo ra. Ngoài ra, các bài kiểm tra như MGSM-Rev2 (Multilingual Grade School Math phiên bản cải tiến thứ 2) được sử dụng để đánh giá khả năng suy luận toán học đa ngôn ngữ của các mô hình sau khi đã sửa các lỗi và điểm mơ hồ trong tập dữ liệu gốc.