llama.cpp b10604 Thêm Hỗ Trợ và Tối Ưu Hóa cho DeepSeek-V4
Bản phát hành llama.cpp b10604 giới thiệu hỗ trợ ban đầu và các tối ưu hóa hiệu năng cho kiến trúc mô hình DeepSeek-V4 (DSV4). Các cập nhật chính bao gồm phân tách tensor (tensor splitting), trì hoãn allreduce cho chuyên gia dùng chung (shared expert delayed allreduce), và khả năng lưu mô hình cho DSV4. Bản phát hành này cho phép triển khai cục bộ và suy luận hiệu quả các mô hình DeepSeek-V4 mới nhất trên phần cứng tiêu dùng và thiết bị biên. Bằng cách tối ưu hóa việc phân tách tensor và giảm thiểu chi phí truyền thông, nó giúp hạ thấp rào cản để chạy các mô hình ngữ cảnh dài, tiên tiến ngay tại máy cục bộ. Các thay đổi kỹ thuật bao gồm thiết lập phân tách đầu (head splits) ở mức độ thô hơn, triển khai cơ chế trì hoãn allreduce cho các chuyên gia dùng chung, và cho phép dflash trả kết quả trên các thiết bị cụ thể. Ngoài ra, bản phát hành này cũng sửa lỗi dspark và bổ sung hỗ trợ lưu mô hình cho DSV4.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận LLM mã nguồn mở phổ biến được thiết kế để đạt hiệu năng cao trên nhiều loại phần cứng khác nhau, đặc biệt là sử dụng CPU và GPU tiêu dùng. DeepSeek-V4 là một kiến trúc mô hình tiên tiến sở hữu cơ chế chú ý lai (hybrid attention) được thiết kế để xử lý ngữ cảnh dài một cách hiệu quả.