llama.cpp Phát Hành Phiên Bản 0.1.2 Với Cập Nhật GGML Và Tối Ưu Hóa CUDA
Dự án llama.cpp đã phát hành phiên bản 0.1.2, cập nhật thư viện phụ thuộc GGML lên phiên bản 0.20.2 và giới thiệu các tối ưu hóa CUDA cho các phần cứng cụ thể như DGX Spark. Phiên bản này cũng bao gồm các bản sửa lỗi build, cải tiến CI và cập nhật tài liệu cho các máy chủ Model Context Protocol (MCP). Là một công cụ được sử dụng rộng rãi cho việc suy luận LLM cục bộ, các bản cập nhật gia tăng của llama.cpp giúp đảm bảo khả năng tương thích tốt hơn với thư viện tensor GGML đang phát triển và cải thiện hiệu suất trên các cấu hình phần cứng cụ thể. Việc bổ sung tài liệu về MCP cũng phản ánh sự liên kết của dự án với các tiêu chuẩn mở mới nổi trong việc tích hợp công cụ AI. Các thay đổi kỹ thuật chính bao gồm việc triển khai MMVQ với `nwarps=8` cho kích thước batch bằng 1 trên DGX Spark, hỗ trợ điểm số tokenizer dạng số nguyên và bỏ qua ghi đè UMA cho các bản build HIP. Ngoài ra, việc đánh số phiên bản theo ngữ nghĩa (semantic versioning) của dự án vẫn đang trong quá trình hoàn thiện.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở được thiết kế để suy luận LLM hiệu quả, phụ thuộc nhiều vào thư viện tensor GGML cho các hoạt động học máy. Model Context Protocol (MCP) là một tiêu chuẩn mở do Anthropic giới thiệu nhằm chuẩn hóa cách các mô hình AI kết nối với các nguồn dữ liệu và công cụ bên ngoài.