Jeff-Qwen3.5-0.8B v1.2 Sử Dụng LoRA Adapter Mô-đun Để Định Tuyến Quyết Định LLM Nhanh Chóng

Lập trình viên firelex đã phát hành Jeff-Qwen3.5-0.8B v1.2 cùng 9 LoRA adapter chuyên biệt cho từng tác vụ (~40 MB mỗi adapter), đóng vai trò là lớp đưa ra quyết định "System 1" siêu nhanh đứng trước các LLM lớn hơn như Qwen3.8-27B. Bằng cách tự xử lý các tác vụ phân loại và định tuyến thông thường rồi chỉ chuyển tiếp các câu hỏi chưa chắc chắn lên mô hình 27B, hệ thống đạt tốc độ ra quyết định nhanh hơn 38 lần và tăng 8,7 điểm độ chính xác trung bình trong khi chỉ tốn thêm chưa tới 2 GB RAM. Phương pháp mô-đun này cho thấy việc kết hợp các mô hình nhỏ chạy cục bộ với LoRA adapter siêu nhẹ có thể tăng tốc đáng kể các luồng xử lý của AI agent mà vẫn giữ độ chính xác cao. Nó thể hiện một xu hướng thực tiễn trong kiến trúc LLM hướng tới định tuyến thông minh, giúp các thiết bị cá nhân tiết kiệm tối đa chi phí tính toán cho các mô hình lớn. Mỗi adapter được huấn luyện trộn kèm 10% dữ liệu của mô hình nền tảng để giữ nguyên khả năng phân loại zero-shot tổng quát. Với 5 tác vụ AI agent phổ biến (lớp bảo mật, phân loại, ý định hỗ trợ, chọn công cụ và kiểm tra đối chiếu), thời gian xử lý giảm từ 8,1 giây xuống 0,25 giây trong khi độ chính xác tăng từ 87,7% lên 95,7%.