FireFlash: Công thức mã nguồn mở cho học tăng cường tác tử dài hạn
Các nhà nghiên cứu đã giới thiệu FireFlash, một mô hình quy mô 300 tỷ tham số cùng công thức học tăng cường mã nguồn mở được thiết kế cho các tác vụ tác tử dài hạn, đạt 46.2% trên Terminal-Bench 4.0 trong khi giảm chi phí hơn 30 lần so với các mô hình độc quyền. Bước đột phá này chứng minh rằng lập luận tác tử hiệu suất cao có thể đạt được trên một cụm máy chủ gồm hàng chục GPU thay vì đòi hỏi hàng nghìn GPU, giúp hạ thấp đáng kể rào cản phát triển trí tuệ nhân tạo mã nguồn mở. Mโม hình đã đạt đến biên Pareto về hiệu suất và chi phí trong vòng chưa đầy 5 ngày sử dụng 64 GPU NVIDIA B300 nhờ tận dụng các môi trường học tăng cường tác tử được tuyển chọn kỹ lưỡng và một bộ công cụ lập trình được tối ưu hóa.
## KIẾN THỨC NỀN
Học tăng cường tác tử dài hạn liên quan đến việc huấn luyện các mô hình AI thực hiện các quy trình phức tạp, nhiều bước trong thời gian dài thay vì chỉ tạo ra các câu trả lời một lần. Terminal-Bench 4.0 là một bộ chuẩn đánh giá được thiết kế để kiểm tra các tác tử tự động trên các tác vụ dòng lệnh và kỹ thuật phần mềm nâng cao.