Áp dụng Cải tiến Đệ quy Tự động vào Quá trình Tiền huấn luyện Cấp cao
Các nhà nghiên cứu đã áp dụng phương pháp cải tiến đệ quy tự động (RSI) cho toàn bộ quá trình tiền huấn luyện cấp cao từ đầu bằng cách chia nhỏ các đợt chạy không thể lặp lại thành các vòng lặp tối ưu hóa nhỏ hơn, dễ quản lý hơn. Nghiên cứu này dẫn đến việc chuẩn bị ra mắt mô hình 801-30B-A3B-Base, một mô hình Mixture-of-Experts (MoE) 30B được huấn luyện trên 11,8 nghìn tỷ token. Việc đưa RSI vào giai đoạn tiền huấn luyện giải quyết một nút thắt lớn trong phát triển trí tuệ nhân tạo, vì các nỗ lực RSI công khai trước đây thường chỉ giới hạn ở giai đoạn hậu huấn luyện. Phương pháp này tác động trực tiếp đến nền tảng của quá trình tạo ra AI, giúp các hệ thống tự cải thiện chính quy trình dùng để xây dựng chúng. Mô hình 801-30B-A3B-Base kết quả được huấn luyện trong ba tháng và vượt trội hơn một số mô hình 30B-A3B hiện có như Qwen3-30B-A3B và Nemotron-3.5-Lightning-30B-A3B. Nhóm nghiên cứu cũng đã mã nguồn mở trọng số mô hình, tập dữ liệu SFT nhẹ (6 tỷ token, không dùng RL) và các chi tiết nghiên cứu kèm theo.
## KIẾN THỨC NỀN
Tiền huấn luyện là giai đoạn ban đầu trong quá trình phát triển mô hình AI, nơi mạng neural transformer học hỏi từ lượng lớn văn bản chưa được gán nhãn thông qua dự đoán token tiếp theo, tiêu tốn lượng tài nguyên tính toán khổng lồ. Cải tiến đệ quy tự động (RSI) đề cập đến khái niệm sử dụng hệ thống AI để lặp đi lặp lại việc nâng cao năng lực hoặc quy trình phát triển của chính nó, tạo ra một vòng xoáy đi lên về trí tuệ.