llama.cpp Phát Hành Bản b11364 Hỗ Trợ Mô Hình Ra Quyết Định Nimble
Công cụ thực thi LLM mã nguồn mở llama.cpp đã phát hành phiên bản b11364, bổ sung khả năng hỗ trợ cho mô hình ra quyết định Nimble thông qua pull request #29844. Bản cập nhật cũng cung cấp các tệp thực thi được biên dịch sẵn cho nhiều hệ điều hành và nền tảng phần cứng như CUDA 12/13, ROCm, Vulkan và Snapdragon. Việc bổ sung hỗ trợ cho các mô hình chuyên biệt như Nimble giúp người dùng thực thi các tác vụ phân loại văn bản có cấu trúc và ra quyết định một cách nhanh chóng ngay trên phần cứng cục bộ. Bản phát hành này tiếp tục đà mở rộng khả năng tương thích của llama.cpp với nhiều kiến trúc mạng Nơ-ron khác nhau ngoài các mô hình trò chuyện thông thường. Nimble xử lý văn bản dựa trên các lược đồ dữ liệu có cấu trúc để đưa ra quyết định kèm theo điểm xác suất cho từng câu trả lời. Ghi chú phát hành cũng chỉ ra rằng tính năng tăng tốc Arm KleidiAI cho các bản dựng macOS Apple Silicon hiện vẫn đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ hiệu năng cao được thiết kế để chạy suy luận LLM cục bộ trên nhiều kiến trúc CPU và GPU khác nhau. Nimble, do Bespoke Labs phát triển, là một mô hình ra quyết định chuyên biệt giúp chấm điểm văn bản trực tiếp dựa trên các lựa chọn lược đồ do người dùng định nghĩa thay vì tạo ra văn bản tự do độ dài lớn.