Tận dụng Qwen 27B làm Subagent hiệu quả cho mô hình LLM cục bộ

Một người dùng trong cộng đồng LocalLLaMA đã chia sẻ một cấu hình đa tác tử (multi-agent) cục bộ thực tế, sử dụng DeepSeek Flash làm mô hình điều phối để giao việc cho mô hình Qwen 27B đã được lượng hóa. Chạy cục bộ trên llama.cpp, subagent Qwen này áp dụng các kỹ thuật lượng hóa GSQ và RCO để đạt hiệu suất cao. Các mô hình đa tác tử phân cấp cho phép người dùng chạy các quy trình công việc phức tạp trên phần cứng cá nhân bằng cách cân bằng tải giữa mô hình điều phối nhanh và các subagent chuyên biệt. Các kỹ thuật lượng hóa độ phân giải thấp tiên tiến giúp các subagent lớn tiêu tốn ít bộ nhớ mà vẫn giữ được độ chính xác trong xử lý tác vụ. Cấu hình này kết hợp DeepSeek Flash làm mô hình điều phối trong Pi với phiên bản Qwen 27B được lượng hóa bằng GSQ (Gumbel-Softmax Quantization) và RCO (Riemannian Constrained Optimization) chạy qua llama.cpp. Các phương pháp lượng hóa sau huấn luyện này giúp tối ưu hóa độ chính xác của trọng số, giữ vững khả năng suy luận ở mức bit thấp.