llama.cpp Thêm Hỗ Trợ Cho Dots3-Note, Mô Hình MoE Đa Phương Thức 280 Tỷ Tham Số
Một yêu cầu kéo (pull request) mới trong llama.cpp đã thêm hỗ trợ cho dots3-note, một mô hình Mixture-of-Experts (MoE) trọng số mở với 280 tỷ tham số được phát triển bởi Dots Studio. Mô hình này có tính đa phương thức, có khả năng xử lý đầu vào là văn bản, hình ảnh, video và âm thanh để tạo ra đầu ra văn bản. Sự tích hợp này cho phép người dùng chạy một mô hình trọng số mở đa phương thức có quy mô lớn và hiệu năng cao ngay tại địa phương hoặc trên phần cứng tiêu dùng thông qua cơ chế thực thi tối ưu hóa của llama.cpp. Điều này mở rộng khả năng tiếp cận các mô hình Mixture-of-Experts quy mô lớn cho cộng đồng AI mã nguồn mở. Mặc dù có tổng cộng 280 tỷ tham số, dots3-note chỉ kích hoạt 16 tỷ tham số cho mỗi token, giúp tối ưu hóa hiệu suất tính toán. Mô hình này cũng sở hữu cửa sổ ngữ cảnh cực lớn lên tới 512.000 token và được phát hành theo giấy phép Apache 2.0.
## KIẾN THỨC NỀN
llama.cpp là một khung làm việc (framework) mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ với hiệu suất cao bằng cách sử dụng lượng tử hóa và giảm thiểu các phụ thuộc phần mềm. Mixture-of-Experts (MoE) là một kiến trúc mô hình AI định tuyến dữ liệu đầu vào đến các mạng con chuyên biệt, hay còn gọi là các 'chuyên gia', thay vì kích hoạt toàn bộ mô hình, giúp giảm đáng kể chi phí tính toán trong quá trình suy luận.