llama.cpp b11483 Hỗ Trợ Mô Hình Ra Quyết Định LiquidAI d1-3B
Bản phát hành b11483 của llama.cpp bổ sung hỗ trợ cho kiến trúc mô hình ra quyết định d1-3B của LiquidAI và cập nhật xử lý GGUF để đọc thuật toán thay đổi kích thước hình ảnh LFM2 trực tiếp từ siêu dữ liệu mô hình. Định danh loại mô hình ra quyết định nội bộ cũng được cập nhật thành lfm2-d1. Việc mở rộng hỗ trợ sang các mô hình ra quyết định phi tạo hình (non-generative) cho phép các nhà phát triển chạy suy luận ra quyết định nhanh chóng mà không cần sinh token đầu ra trực tiếp trong hệ sinh thái llama.cpp. Điều này giúp thực thi hiệu quả các tác vụ phân loại đa thức và lựa chọn quyết định trên các thiết bị cạnh và thiết bị cục bộ. d1-3B của LiquidAI là một mô hình ra quyết định 3,12 tỷ tham số mang lại câu trả lời theo định dạng sẵn chỉ trong một lượt lan truyền tiến thay vì sinh các token tự hồi quy. Bản phát hành bao gồm các tệp thực thi biên dịch sẵn được cập nhật trên các nền tảng Windows, macOS, Linux, Android và Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện thực thi mô hình ngôn ngữ lớn (LLM) mã nguồn mở hiệu năng cao được viết bằng C/C++, cho phép chạy cục bộ các mô hình định dạng GGUF lượng tử hóa trên nhiều phần cứng khác nhau. Khác với các mô hình ngôn ngữ tạo hình truyền thống sinh văn bản từng token một, mô hình ra quyết định tính toán dự đoán trực tiếp trên các phương án lựa chọn chỉ trong một lượt xử lý duy nhất để đạt độ trễ thấp hơn.