llama.cpp b10580 Hỗ Trợ Mô Hình Đa Phương Thức dots3-note
Bản phát hành mới nhất của llama.cpp (b10580) bổ sung hỗ trợ cho mô hình đa phương thức âm thanh và hình ảnh "dots3-note". Bản cập nhật này bao gồm việc triển khai chuyển đổi mô hình và hỗ trợ suy luận bằng C++. Bản cập nhật này cho phép người dùng chạy mô hình đa phương thức dots3-note cục bộ với hiệu suất suy luận C++ tối ưu. Nó mở rộng khả năng của llama.cpp trong việc xử lý các tác vụ âm thanh và hình ảnh phức tạp với ngữ cảnh dài. Việc tích hợp bao gồm các cập nhật đối với sơ đồ ánh xạ tensor GGUF (`gguf-py`) và triển khai C++ cốt lõi cho sơ đồ ánh xạ tensor đa phương thức. Bản phát hành cũng cung cấp các tệp thực thi biên dịch sẵn cho nhiều nền tảng bao gồm macOS, Windows (với CUDA 12/13), Linux và Android.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến được thiết kế để suy luận LLM hiệu quả bằng C/C++ trên phần cứng tiêu dùng. Mô hình dots3-note, được phát triển bởi Dots Studio, là một mô hình hỗn hợp chuyên gia (MoE) trọng số mở với tổng cộng 280 tỷ tham số, 16 tỷ tham số kích hoạt và cửa sổ ngữ cảnh khổng lồ lên tới 512K token.