ggerganov/llama.cpp phát hành phiên bản b12027 hỗ trợ tensor split cho LFM3
Dự án llama.cpp vừa phát hành phiên bản b12027, bổ sung tính năng hỗ trợ phân chia tensor (tensor split) cho LFM3. Bản cập nhật này được thực hiện với sự hỗ trợ từ Claude Opus 5.5. Việc bổ sung tính năng hỗ trợ chia tensor giúp các mô hình ngôn ngữ lớn như LFM3 phân phối khối lượng công việc tính toán một cách hiệu quả trên nhiều đơn vị xử lý hoặc GPU. Khả năng này rất cần thiết để chạy các mô hình lớn vượt quá dung lượng VRAM của một card đồ họa đơn. Bản phát hành bao gồm các gói nhị phân được biên dịch sẵn trên nhiều nền tảng khác nhau như macOS, Linux, Android và Windows, hỗ trợ các phần cứng nền tảng như CPU, CUDA, Vulkan và OpenVINO. Bản cập nhật này giải quyết yêu cầu kéo (pull request) số #31431 để kích hoạt tính năng nói trên.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Phân chia tensor là tính năng được sử dụng trong các thiết lập nhiều GPU để chia nhỏ các lớp mô hình hoặc tensor trên các thiết bị có sẵn.