llama.cpp bổ sung hỗ trợ các mô hình ra quyết định (Decision Models)
llama.cpp đã chính thức bổ sung hỗ trợ cho các mô hình ra quyết định (Decision Models), mở rộng khả năng của công cụ suy luận mã nguồn mở này để chạy cục bộ các kiến trúc mô hình chuyên biệt. Bản cập nhật này cho phép thực hiện các tác vụ phân loại, định tuyến công việc và đưa ra quyết định tốc độ cao bên cạnh các mô hình sinh ngôn ngữ truyền thống. Việc tích hợp các mô hình ra quyết định vào llama.cpp mở rộng phạm vi xử lý của hệ sinh thái AI cục bộ, cho phép các nhà phát triển thực thi định tuyến và phân loại mỏng nhẹ trực tiếp trên phần cứng cá nhân. Điều này giảm bớt sự phụ thuộc vào API bên ngoài cho các quy trình tác vụ thông minh (agentic workflows) vốn cần ra quyết định nhanh trước khi chạy các tác vụ sinh văn bản nặng. Bản cập nhật mang lại khả năng hỗ trợ thực thi C/C++ gốc cho các kiến trúc mô hình ra quyết định trong công cụ suy luận của llama.cpp. Điều này cho phép các nhà phát triển thực hiện phân loại và đưa ra quyết định cấu trúc với độ trễ thấp và chi phí tính toán giảm đáng kể so với các LLM sinh ngôn ngữ thông thường.
## KIẾN THỨC NỀN
llama.cpp là một khung làm việc C/C++ mã nguồn mở phổ biến được tối ưu hóa để chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng cá nhân. Các mô hình ra quyết định (Decision Models) là những kiến trúc máy học chuyên biệt được thiết kế cho các tác vụ phân loại tốc độ cao và đưa ra lựa chọn xác định thay vì sinh văn bản liên tục. Việc hỗ trợ các kiến trúc này giúp các quy trình AI phức tạp có thể sử dụng các mô hình nhỏ và nhanh để nhận diện ý định và định tuyến quyết định trước khi gọi các mô hình sinh ngôn ngữ lớn hơn.