Alibaba Qwen ra mắt QwenGyre cho học tăng cường tác tử siêu dài hạn
Nhóm Qwen của Alibaba đã phát hành QwenGyre, một khuôn khổ học tăng cường trực tuyến được thiết kế riêng cho các tác vụ tác tử AI siêu dài hạn. Khung này sử dụng cơ chế lập lịch GPU đàn hồi và xử lý quỹ đạo nâng cao để biến các quy trình công việc phức tạp, kéo dài nhiều giờ thành dữ liệu huấn luyện hiệu quả. Việc huấn luyện mô hình trên các tác vụ siêu dài hạn thường gặp phải tình trạng lãng phí tài nguyên GPU và dư thừa quỹ đạo nghiêm trọng. QwenGyre giải quyết các vấn đề hiệu suất này, mang lại tốc độ xử lý đầu cuối và cải thiện hiệu năng đáng kể trong các tác vụ lập trình và dòng lệnh phức tạp. QwenGyre sử dụng cơ chế lập lịch đàn hồi giúp phân bổ lại động các đơn vị tính toán GPU đã hoàn thành sang quá trình huấn luyện mà không làm gián đoạn các tiến trình đang chạy trực tiếp, đồng thời tổ chức đầu ra thành cây quỹ đạo bằng theo dõi cấp độ token. Trong các thử nghiệm như NL2RepoBench, khung này đạt tốc độ xử lý đầu cuối nhanh gấp 1,78 lần so với phương pháp bất đồng bộ cơ bản với cùng ngân sách GPU.
## KIẾN THỨC NỀN
Học tăng cường trực tuyến cho các tác tử AI liên quan đến việc mô hình tương tác với các môi trường động qua hàng trăm bước tuần</td> tự để tối đa hóa phần thưởng. Các tác vụ dài hạn yêu cầu xử lý bối cảnh token khổng lồ trong thời gian kéo dài, thường gây ra các điểm nghẽn cơ sở hạ tầng nghiêm trọng và lãng phí tài nguyên khi quá trình huấn luyện và chạy thử nghiệm bị tách rời.