Thử nghiệm hiệu năng MindControl: Kiểm soát ngân sách suy luận cho llama.cpp

Kết quả thử nghiệm hiệu năng của 'MindControl', một công cụ kiểm soát ngân sách suy luận ở cấp độ bộ lấy mẫu (sampler) cho llama.cpp, cho thấy việc gợi ý các mô hình ngôn ngữ lớn (LLM) kết thúc suy nghĩ một cách tự nhiên giúp giảm lượng token tiêu thụ mà không làm giảm hiệu suất. Công cụ này đã được thử nghiệm trên mô hình Qwen3.6-27B bằng các bộ dữ liệu HumanEval+ và LiveCodeBench. Việc kiểm soát độ dài suy luận của LLM giúp ngăn chúng suy nghĩ quá mức hoặc rơi vào các vòng lặp vô hạn, từ đó tiết kiệm đáng kể chi phí tính toán. Bằng cách tránh việc cắt ngắn đột ngột, các nhà phát triển có thể tối ưu hóa hiệu quả suy luận mà không làm giảm chất lượng đầu ra của mô hình. Cấu hình được hướng dẫn nhiều nhất (intro+soft+hard) đã giảm một nửa lượng token sử dụng trên LiveCodeBench trong khi vẫn giữ nguyên điểm số, và đạt điểm cao nhất 95,7% trên HumanEval+. Tuy nhiên, các bài toán cực kỳ phức tạp vẫn bị giảm độ chính xác khi ngân sách bị thắt chặt, cho thấy các tác vụ khó vốn dĩ cần nhiều token suy luận hơn.