llama.cpp Phát hành Phiên bản b10885 Sửa Lỗi Tham số cho Dòng Mô hình IBM Granite
Phiên bản b10885 của llama.cpp tích hợp pull request #28643 nhằm sửa lỗi tính toán tham số trên toàn bộ dòng mô hình IBM Granite. Bản vá cũng bổ sung tiền tố bị thiếu cho các expert đang hoạt động và tinh chỉnh căn chỉnh mã nguồn khối expert. Bản sửa lỗi này đảm bảo tính chính xác về tham số và vận hành ổn định cho người dùng chạy các mô hình nền tảng IBM Granite cục bộ. Điều này thể hiện sự hợp tác trực tiếp giữa các nhà phát triển AI tại IBM và cộng đồng duy trì công cụ suy luận mã nguồn mở. Được đóng góp bởi kỹ sư Aaron Teo từ IBM, bản cập nhật bổ sung tiền tố 'A' còn thiếu cho các expert đang hoạt động, sửa các chỉ thị include và loại bỏ trường hợp 40 khối không sử dụng. Các bản biên dịch sẵn được cung cấp cho Windows, Linux, macOS, iOS và Android trên các nền tảng CPU, CUDA, Vulkan và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ mã nguồn mở hiệu năng cao được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng tiêu dùng. IBM Granite là dòng mô hình AI nền tảng mở do IBM phát triển cho các ứng dụng doanh nghiệp bao gồm các tác vụ xử lý ngôn ngữ và lập trình.