Stanford, Meta và các đối tác giới thiệu Tác nhân Suy luận Hỗn hợp

Các nhà nghiên cứu từ Stanford, Together AI, UIUC và Meta đã giới thiệu Tác nhân Suy luận Hỗn hợp, một khuôn khổ mới cho phép các mô hình AI thực hiện suy luận ẩn bên trong trong khi chỉ sử dụng văn bản cho việc tương tác công cụ và đưa ra câu trả lời cuối cùng. Phương pháp này giúp các mô hình đạt điểm số chuẩn cao hơn đồng thời giảm mức sử dụng token, độ trễ và chi phí vận hành. Nghiên cứu này giải quyết một nút thắt quan trọng trong các tác nhân LLM hiện đại bằng cách khắc phục sự đánh đổi giữa tính toán nội bộ hiệu quả và nhu cầu sử dụng công cụ dựa trên văn bản cũng như tính minh bạch. Đây là một bước tiến quan trọng hướng tới các hệ thống AI nhanh hơn, rẻ hơn và chính xác hơn, có khả năng giải quyết các vấn đề phức tạp trong toán học, khoa học và y học. Bài báo chứng minh rằng các mô hình hỗn hợp này đạt điểm cao hơn khoảng 10% trong các bài kiểm tra khắt khe về toán học, khoa học và y học, trong khi sử dụng lượng token ít hơn một nửa và chạy nhanh gấp đôi so với các mô hình thông thường. Chúng thu hẹp khoảng cách giữa môi trường suy luận tiềm ẩn bên trong và môi trường công cụ bên ngoài.