ggerganov/llama.cpp Phát Hành Phiên Bản b12273 Kèm Vá Lỗi Lấy Mẫu
Bản phát hành llama.cpp b12273 đã được công bố kèm theo bản vá lỗi trùng lặp đầu ra khi lấy mẫu (sampling output aliasing). Bản cập nhật này cũng bao gồm các gói phân phối nhị phân đa nền tảng tiêu chuẩn cho macOS, Linux, Android và Windows. Các bản cập nhật định kỳ như b12273 đảm bảo tính ổn định liên tục và hành vi chính xác cho các nhà phát triển chạy mô hình ngôn ngữ lớn cục bộ. Bản cập nhật này mang lại lợi ích trực tiếp cho những người dùng phụ thuộc vào kết quả sinh văn bản sạch và dễ đoán. Thay đổi kỹ thuật chính giải quyết yêu cầu kéo (pull request) #32015, chuyên xử lý các sự cố liên quan đến việc chồng chéo bộ nhớ đầu ra khi lấy mẫu trong quy trình thực thi mô hình. Các tệp nhị phân dịch sẵn được cung cấp cho nhiều phần cứng nền tảng khác nhau bao gồm CPU, CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau với thiết lập tối thiểu. Thư viện này đóng vai trò là nền tảng cốt lõi cho nhiều công cụ và ứng dụng AI cục bộ trên nhiều kiến trúc phần cứng khác nhau.