llama.cpp Phát Hành Bản b11361 Bổ Sung API SystemOne Và Hỗ Trợ Mô Hình Mới
Phiên bản b11361 của llama.cpp bổ sung điểm cuối API server mới /v1/systemone cùng khả năng hỗ trợ các kiến trúc mô hình System One bao gồm laya, julia-1, lev, openjev và kev. Bản cập nhật này cũng bổ sung kịch bản chuyển đổi mô hình, hỗ trợ thị giác máy tính và tính năng chia sẻ tiền tố câu lệnh. Bản cập nhật này mở rộng llama.cpp vượt ra ngoài các mô hình ngôn ngữ hội thoại truyền thống để hỗ trợ các kiến trúc AI System One chuyên đưa ra quyết định nhanh và có cấu trúc. Các nhà phát triển vận hành hạ tầng suy luận cục bộ giờ đây có thể phục vụ các mô hình này trực tiếp qua máy chủ HTTP nhẹ của llama.cpp. PR #29818 bao gồm một mô hình openjev siêu nhỏ để kiểm thử, tài liệu hướng dẫn cho nhà phát triển được cập nhật và làm rõ rằng tính năng date_facts hiện chưa được hỗ trợ. Các bản thực thi dựng sẵn được cung cấp cho nhiều nền tảng phần cứng như macOS, Linux (CUDA 12/13, Vulkan, SYCL, ROCm, Snapdragon) và Android.
## KIẾN THỨC NỀN
llama.cpp là một khung ứng dụng mã nguồn mở C/C++ phổ biến dùng để chạy các Mô hình Ngôn ngữ Lớn cục bộ với hiệu năng cao trên nhiều loại phần cứng. Các mô hình System One, chẳng hạn như dòng Jev của TypeSafe AI, là các mô hình chuyên dụng được tối ưu hóa để đánh giá trạng thái và trả về các quyết định nhanh, có kiểu dữ liệu rõ ràng nhằm phục vụ tích hợp phần mềm thay vì sinh văn bản tự do.