llama.cpp Phát Hành Bản b11295 Sửa Lỗi Kiểm Tra CI Models Backend
Công cụ suy luận AI mã nguồn mở llama.cpp đã phát hành bản dựng b11295, bổ sung bản sửa lỗi tích hợp liên tục (CI) cho bộ kiểm thử Models Backend. Bản cập nhật này rút ngắn fixture kiểm thử hrm_text nhằm ngăn chặn sự tích tụ sai số số học dạng số thực phẩy động 16-bit (FP16) trong quá trình kiểm thử tự động. Bản vá bảo trì này đảm bảo các quy trình tích hợp tự động vượt qua kiểm thử một cách ổn định trên phần cứng Vulkan T4 và WebGPU mà không gặp cảnh báo lỗi sai. Việc giữ cho hệ thống CI hoạt động trơn tru giúp đội ngũ phát triển duy trì tiến độ mà không bị cản trở bởi sự lệch độ chính xác trong kịch bản kiểm thử. Fixture kiểm thử hrm_text trước đó tái sử dụng hai khối qua 8 ô nhớ đệm, khiến sai số FP16 vượt ngưỡng Sai số Bình phương Trung bình Chuẩn hóa (NMSE) 1e-4 trên Vulkan T4 và WebGPU. Việc rút ngắn fixture xuống hai chu kỳ l vẫn bảo đảm độ bao phủ các nhánh mã nguồn đồng thời giảm một nửa sai số tích lũy.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ phổ biến được dùng để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên nhiều nền tảng phần cứng như CPU, CUDA, Vulkan và WebGPU. Hệ thống tích hợp liên tục (CI) thường xuyên chạy các mẫu kiểm thử trên các nền tảng này, nhưng tính toán ở định dạng độ chính xác thấp như FP16 dễ bị tích tụ sai số làm tròn qua các chu kỳ xử lý.