qev-0.8b: Mô hình quyết định cục bộ cỡ nhỏ tiên tiến mới
AustinFu vừa giới thiệu qev-0.8b, mô hình nhỏ nhất trong dòng mô hình quyết định Qev với quy mô 0.8 tỷ tham số. Nó được thiết kế để nhận ngữ cảnh, câu hỏi và các câu trả lời ứng viên nhằm đưa ra lựa chọn cụ thể cùng xác suất cho từng phương án. Mô hình này cung cấp một lựa chọn hiệu quả cho điện toán biên và việc chạy cục bộ, nơi người dùng cần các câu trả lời có kiểu dữ liệu cụ thể và độ tin cậy được hiệu chuẩn thay vì văn bản tự do. Nó dùng chung API với các biến thể lớn hơn như Qev-2B, Qev-4B và Qev-9B, mang lại sự linh hoạt cho các nhà phát triển xây dựng ứng dụng cục bộ bị giới hạn tài nguyên. Mô hình sử dụng checkpoint tiếp nối Snake thuộc phiên bản Qev v0.3.0, tích hợp công nghệ giám sát Snake và phát lại các tác vụ quyết định tổng quát ban đầu. Nó hỗ trợ nhiều định dạng khác nhau bao gồm Choice, Noul (có/không) và Score (đánh giá xếp hạng) thông qua một API thống nhất.
## KIẾN THỨC NỀN
Khác với các mô hình ngôn ngữ sinh văn bản truyền thống tạo ra văn bản tự do theo từng token, mô hình quyết định là hệ thống AI chuyên biệt được thiết kế để xử lý câu lệnh và các lựa chọn ứng viên rời rạc cùng lúc trong một lần truyền tiến duy nhất. Chúng trả về các câu trả lời có cấu trúc, kèm theo điểm độ tin cậy được hiệu chuẩn, rất lý tưởng cho các tác vụ phân loại và ra quyết định.