Qwen Ra Mắt QwenGyre: Khung RL Cho Tác Nhân AI Nhiệm Vụ Cực Kỳ Dài
Nhóm Qwen đã phát hành QwenGyre, một khung học tăng cường co giãn được thiết kế đặc biệt để huấn luyện các tác nhân AI thực hiện các nhiệm vụ cực kỳ dài. Khung này bao gồm Trình lập lịch co giãn (Elastic Scheduler) giúp phân bổ lại GPU linh hoạt mà không làm gián đoạn quá trình chạy trực tiếp, cùng với Bộ xử lý quỹ đạo (Trajectory Processor) giúp chuyển đổi các quá trình thực thi phân nhánh thành cây quỹ đạo chia sẻ tiền tố. Khung này giúp tăng tốc và cải thiện đáng kể quá trình huấn luyện các tác nhân AI trong các tác vụ phức tạp, kéo dài, giải quyết các nút thắt lớn như tình trạng nhàn rỗi của GPU và phương sai thực thi cao. Bằng cách mở rộng quy mô cho các mô hình lớn và cắt giảm khoảng 44% thời gian huấn luyện từ đầu đến cuối, công nghệ này mở đường cho các trợ lý AI tự chủ và có năng lực cao hơn. QwenGyre đạt tốc độ nhanh hơn tới 1,85 lần so với phương pháp Colocate và 1,78 lần so với phương pháp Async. Khi mở rộng quy mô lên mô hình Qwen3.8-2.4T-A95B với khoảng 700.000 token cho mỗi lượt triển khai, nó đã nâng hiệu suất của NL2RepoBench từ 52,5% lên 58,5% chỉ trong 48 bước.
## KIẾN THỨC NỀN
Học tăng cường trực tuyến (online RL) cho các mô hình ngôn ngữ lớn liên quan đến việc huấn luyện các tác nhân bằng cách cho phép chúng tương tác với môi trường qua nhiều bước, sử dụng phần thưởng để định hướng hành vi của chúng. Khi các nhiệm vụ trở nên cực kỳ dài hạn—kéo dài hàng giờ và tạo ra gần một triệu token cho mỗi lần triển khai—các cấu hình RL truyền thống thường gặp phải sự kém hiệu quả nghiêm trọng về mặt tính toán và tình trạng thiếu hụt GPU do thời gian thực thi khó đoán.