llama.cpp Thêm Endpoint API `/v1/systemone` Cho Các Mô Hình System One
Pull request #29818 cho llama.cpp bổ sung một endpoint API mới `/v1/systemone` vào llama-server. Cập nhật này mang lại khả năng hỗ trợ trực tiếp từ máy chủ cho một số mô hình GGUF thuộc dòng System One nguồn mở, bao gồm OpenJev, Lev, Julia-1, Laya và Kev-4B. Việc hỗ trợ trực tiếp API cho các mô hình ra quyết định System One cho phép các nhà phát triển vận hành dịch vụ ra quyết định có độ trễ thấp và có cấu trúc dữ liệu ngay trên máy cục bộ thông qua llama.cpp mà không phụ thuộc vào API đám mây độc quyền. Điều này mở rộng năng lực của llama.cpp từ tạo văn bản thông thường sang các tác vụ điều hướng mô hình và ra quyết định chuyên biệt. Endpoint `/v1/systemone` triển khai API ra quyết định có cấu trúc tương thích với các câu hỏi theo kiểu dữ liệu định dạng và xác suất đầu ra của Jev. Các trọng số GGUF đã được lượng hóa cho các mô hình hỗ trợ hiện được lưu trữ trên Hugging Face thuộc tổ chức ggml-org.
## KIẾN THỨC NỀN
Các mô hình AI System One là những hệ thống ra quyết định nhanh lấy cảm hứng từ tư duy cảm tính của con người, được tối ưu hóa để đưa ra các quyết định có định dạng ngay lập tức thay vì tạo đoạn văn bản hội thoại dài. TypeSafe AI đã phổ biến khái niệm này với API ra quyết định Jev, thúc đẩy cộng đồng nguồn mở phát triển các mô hình trọng số mở tương thích như OpenJev.