DIY Jev: Xác minh câu trả lời bằng Logit trên LLM mã nguồn mở không cần Fine-Tuning
Một nhà phát triển đã chia sẻ DIY-Jev, một máy chủ web bằng Rust giúp xác minh nhanh câu trả lời ứng viên trên các LLM mã nguồn mở tiêu chuẩn như Qwen mà không cần fine-tuning hay sinh văn bản đầy đủ. Thay vì tạo văn bản, hệ thống định dạng các tùy chọn thành các câu hỏi xác minh đúng/sai, tính độ lệch logit true/false cho từng tùy chọn và áp dụng hàm softmax để xác định đáp án tối ưu. Dự án này cho thấy các mô hình LLM tiêu chuẩn, không qua chỉnh sửa có thể đạt độ chính xác tương đương hoặc vượt trội so với các mô hình ra quyết định được fine-tune chuyên biệt như OpenJev cho các bài toán lựa chọn nhanh. Nhờ loại bỏ fine-tuning và chỉ dựa vào trích xuất logit cùng cấu trúc prompt, các nhà phát triển có thể triển khai quy trình phân loại cục bộ tốc độ cao với chi phí thiết lập tối thiểu. Bằng cách lưu bộ nhớ đệm tiền tố (prefix-caching) cho phần bối cảnh chung (trạng thái, câu hỏi, các tùy chọn) và xử lý song song các nhánh đánh giá ứng viên qua llama.cpp, phương pháp đạt độ chính xác 75.5% trên Qwen3.6 35B-A3B và tốc độ lên tới ~27 yêu cầu/giây trên Qwen3-4B với GPU RTX 5090 trên máy tính xách tay qua bộ kiểm thử 32.235 ví dụ.
## KIẾN THỨC NỀN
TypeSafe AI đã phát triển Jev như một mô hình ra quyết định nhanh kiểu 'Hệ thống 1' (System 1) nhằm thực hiện các lựa chọn danh mục nhanh chóng thay vì tạo đầu ra hội thoại dài. OpenJev dựa vào việc fine-tuning mô hình và thêm các đầu phân loại chuyên biệt cho nhiệm vụ này. Logit đại diện cho điểm số xác suất thô chưa chuẩn hóa mà LLM gán cho các token đầu ra tiềm năng trước khi lấy mẫu.