SupraLabs Phát Hành Supra2-Medium-Base, Mô Hình Siêu Nhỏ 25 Triệu Tham Số
SupraLabs đã phát hành Supra2-Medium-Base, một mô hình cơ sở (base model) với 25 triệu tham số được huấn luyện từ đầu dựa trên kiến trúc Qwen3. Các nhà phát triển tuyên bố mô hình này có khả năng cạnh tranh với mô hình 50 triệu tham số trước đó của họ, mặc dù kết quả đầu ra mẫu ban đầu cho thấy văn bản bị lặp lại rất nhiều. Bản phát hành này nêu bật sự quan tâm liên tục đối với TinyML và các mô hình ngôn ngữ cực nhỏ được thiết kế để chạy trên phần cứng hạn chế tài nguyên. Tuy nhiên, chất lượng văn bản được tạo ra rất thấp cho thấy những thách thức trong việc huấn luyện các mô hình ngôn ngữ lớn (LLM) hoạt động hiệu quả ở quy mô nhỏ như vậy. Mô hình này hiện chỉ là mô hình cơ sở (base model), phiên bản tinh chỉnh hướng dẫn (instruction-tuned) dự kiến sẽ được ra mắt trong tương lai. Ngoài ra, các nhà phát triển tuyên bố đã huấn luyện mô hình trên phần cứng chưa được phát hành (GPU dòng RTX 5060), gây ra nhiều hoài nghi về tính xác thực của bài đăng.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) thường chứa hàng tỷ tham số, đòi hỏi sức mạnh tính toán đáng kể để vận hành. TinyML là một lĩnh vực tập trung vào việc triển khai các mô hình học máy trên các thiết bị biên có công suất thấp và tài nguyên hạn chế, điều này thường yêu cầu thu nhỏ các mô hình xuống còn vài triệu tham số. Các mô hình cơ sở (base model) được huấn luyện trên dữ liệu văn bản thô để dự đoán từ tiếp theo và thường cần được tinh chỉnh hướng dẫn (instruction tuning) để trở thành các trợ lý hội thoại hữu ích.