Lập trình viên cộng đồng chia sẻ tiến trình tinh chỉnh Instruct cho mô hình Yandex AliceAI-80B-A3B

Một lập trình viên cộng đồng đã hoàn thành đợt hậu huấn luyện ban đầu cho phiên bản instruct của mô hình nền tảng AliceAI-80B-A3B từ Yandex bằng bộ dữ liệu chắt lọc tổng hợp. Tác giả dự kiến sẽ phát hành các bản lượng hóa GGUF, checkpoint công khai và một bản vá llama.cpp tùy chỉnh trong vài ngày tới. AliceAI-80B-A3B là mô hình Mixture-of-Experts (MoE) trọng số mở tối ưu chỉ kích hoạt 3 tỷ tham số trên tổng số 80 tỷ tham số. Việc mang lại khả năng lượng hóa GGUF và hỗ trợ llama.cpp cho kiến trúc này giúp cộng đồng mã nguồn mở có thể tự chạy và đánh giá một mô hình MoE quy mô lớn ngay trên máy cá nhân. Quá trình huấn luyện diễn ra trong 48 giờ sử dụng QLoRA trên ba GPU V100 32GB, vận hành nhờ kernel tùy chỉnh và dữ liệu được chắt lọc qua công cụ SFTMill. Dù biểu đồ loss có biến động do chênh lệch số lượng token giữa các epoch, mức loss trung bình vẫn giảm đều đặn và các giai đoạn tiếp theo sẽ bổ sung học tăng cường (RL).