Hỗ trợ cho mô hình lập luận Ling 3.0 được tích hợp vào llama.cpp
Hỗ trợ cho dòng mô hình Ling 3.0, bao gồm các mô hình lập luận Ling-3.0-tiny (8B) và Ling-3.0-flash (124B), đã chính thức được tích hợp vào kho mã nguồn của llama.cpp. Sự tích hợp này cho phép người dùng chạy các mô hình lập luận lai bản địa này trực tiếp trên thiết bị cá nhân. Bản cập nhật này cho phép cộng đồng LLM chạy các mô hình lập luận lai tiên tiến và tiết kiệm tài nguyên trên phần cứng tiêu dùng. Bằng cách hỗ trợ các mô hình này, llama.cpp mở rộng các lựa chọn cho các nhà phát triển đang tìm kiếm giải pháp lập luận AI cục bộ có độ trễ thấp và chi phí tối ưu. Các mô hình Ling 3.0 sử dụng kiến trúc lai, trong đó Ling-3.0-tiny có 1,3 tỷ tham số kích hoạt (trên tổng số 8 tỷ) và Ling-3.0-flash kích hoạt 5,1 tỷ tham số (trên tổng số 124 tỷ). Việc tích hợp được hoàn tất thông qua yêu cầu kéo (pull request) số 26608 trên kho lưu trữ GitHub của llama.cpp.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở viết bằng C/C++ rất phổ biến, được thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng cục bộ, đóng vai trò là xương sống cho các công cụ như Ollama. Ling 3.0, được phát triển bởi Ant Bailing, là một dòng mô hình lập luận lai bản địa được thiết kế để thực thi với độ trễ thấp, tiết kiệm chi phí và tương tác theo thời gian thực.