Bản phát hành llama.cpp b11376 sửa lỗi kiểm thử CI float16 không ổn định
Công cụ suy luận mô hình ngôn ngữ lớn mã nguồn mở llama.cpp đã phát hành phiên bản b11376. Bản cập nhật này khắc phục một bài kiểm thử float16 (f16) không ổn định trong quy trình tích hợp liên tục bằng cách điều chỉnh ngưỡng dung sai cho phép toán cộng hợp nhất. Việc sửa các bài kiểm thử tự động không ổn định giúp nâng cao độ tin cậy của quy trình tích hợp liên tục và ngăn ngừa các thất bại giả trong đường ống kiểm thử. Điều này đảm bảo quá trình đóng góp và bảo trì mã nguồn diễn ra thuận lợi hơn mà không làm ảnh hưởng đến tính năng suy luận thực tế. Bản phát hành giải quyết cụ thể dung sai độ chính xác số thực phẩy động cho phép toán float16 `ADD_ADD` trong PR #29904. Các tệp thực thi biên dịch sẵn được cung cấp cho nhiều nền tảng bao gồm Linux, macOS, Windows, Android và kiến trúc thiết bị Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ phổ biến được thiết kế để suy luận các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. Trong các hệ thống tích hợp liên tục (CI), các phép toán số thực phẩy động float16 đôi khi có thể gây ra lỗi kiểm thử giả do sự khác biệt nhỏ về phần cứng, đòi hỏi phải điều chỉnh giới hạn dung sai cho phù hợp.