Llama.cpp Hỗ Trợ Các Mô Hình Laguna XS.2 và M.1 Của Poolside
Trong bản phát hành mới nhất (bản dựng b10087), Llama.cpp đã chính thức bổ sung hỗ trợ cho các mô hình Laguna XS.2 và M.1. Sự tích hợp này cho phép người dùng chạy cục bộ các mô hình lập trình chuyên dụng của Poolside với hiệu suất cao, mở rộng các lựa chọn có sẵn cho các nhà phát triển AI mã nguồn mở. Laguna XS.2 là một mô hình Hỗn hợp Chuyên gia (MoE) với 33 tỷ tham số được thiết kế cho các tác vụ kỹ thuật phần mềm, nổi bật với cơ chế chú ý cửa sổ trượt lai.
## KIẾN THỨC NỀN
Llama.cpp là một khung suy luận LLM mã nguồn mở phổ biến được thiết kế để chạy các mô hình một cách hiệu quả trên nhiều loại phần cứng khác nhau, bao gồm cả CPU và GPU cấp tiêu dùng. Dòng mô hình Laguna của Poolside tập trung vào lập trình tác nhân và phát triển phần mềm, sử dụng kiến trúc Hỗn hợp Chuyên gia (MoE) để tối ưu hóa số lượng tham số hoạt động trong quá trình suy luận.