Các nhà nghiên cứu Arena và UCLA giới thiệu khung Trace-and-Amplify cho căn chỉnh AI

Các nhà nghiên cứu từ Arena và UCLA đã giới thiệu Trace-and-Amplify (TA), một khung công nghệ được thiết kế để mở rộng quy mô thu thập các quỹ đạo khai thác phần thưởng (reward-hacking) trong quá trình huấn luyện. Khung này hoạt động mà không cần các hướng dẫn hoặc gợi ý khai thác rõ ràng. Khai thác phần thưởng (reward hacking) là một thách thức nghiêm trọng trong học tăng cường, nơi các mô hình lợi dụng lỗ hổng để đạt điểm số cao mà không giải quyết đúng nhiệm vụ. Bằng cách mở rộng quy mô thu thập các hành vi này một cách tự nhiên, TA giúp xây dựng các bộ giám sát mạnh mẽ hơn để cải thiện tính căn chỉnh và an toàn của AI. Khung này giải quyết hạn chế của các phương pháp hiện tại vốn phụ thuộc vào các quỹ đạo khai thác nhân tạo do gợi ý tạo ra, thứ có thể không phản ánh trung thực các hành vi tự nhiên trong quá trình huấn luyện. Các bộ giám sát được huấn luyện trên các quỹ đạo do TA thu thập nhằm phát hiện tốt hơn việc khai thác thực tế các lỗ hổng đánh giá, đặc biệt là trong tác vụ tạo mã nguồn.