Perplexity Decider 27B: Mô hình ra quyết định và điều hướng LLM trọng số mở
Một mô hình trọng số mở chuyên dụng có tên Perplexity Decider 27B vừa được phát hành, được tinh chỉnh từ kiến trúc nền tảng Qwen 27B. Mô hình được thiết kế đặc biệt cho các tác vụ ra quyết định phức tạp, điều phối quy trình làm việc và điều hướng câu lệnh (prompt routing). Việc sử dụng một mô hình ra quyết định trọng số mở chuyên dụng cho phép các nhà phát triển xây dựng lớp điều hướng tự lưu trữ, giúp chuyển hướng câu lệnh đến LLM xử lý phù hợp nhất. Phương pháp này giúp giảm đáng kể chi phí API, tăng hiệu suất hệ thống và kiểm soát tốt hơn các quy trình AI đa mô hình cục bộ. Mô hình tận dụng nền tảng Qwen 27 tỷ tham số, cân bằng giữa khả năng suy luận mạnh mẽ và yêu cầu phần cứng vừa phải cho việc triển khai cục bộ. Mô hình hoạt động chủ yếu như một lớp điều phối để phân loại câu lệnh, xác định ý định và ủy quyền xử lý cho các mô hình hoặc công cụ tiếp theo.
## KIẾN THỨC NỀN
Điều hướng LLM (LLM routing) là chiến lược kiến trúc trong đó mô hình đầu vào đánh giá yêu cầu của người dùng để quyết định LLM hoặc API chuyên dụng nào sẽ thực thi tác vụ dựa trên chi phí, tốc độ hoặc chất lượng. Qwen là dòng mô hình ngôn ngữ trọng số mở do Alibaba Cloud phát triển, thường được cộng đồng mã nguồn mở sử dụng làm mô hình nền tảng để tinh chỉnh.