ggerganov/llama.cpp phát hành phiên bản b11639
Phiên bản b11639 của llama.cpp giới thiệu một bản sửa lỗi tập trung cho tính năng kẹp (clamp) OpenCL trên các vùng nhìn tensor không liên tục đi kèm với các tệp nhị phân tiêu chuẩn. Bản cập nhật này triển khai một kernel phân đoạn mới để ngăn chặn việc đọc nhầm phần tử khi xử lý dữ liệu đầu vào không liên tục. Bản sửa lỗi này cải thiện độ ổn định và tính chính xác cho người dùng chạy các mô hình ngôn ngữ lớn thông qua các bộ tăng tốc phần cứng hỗ trợ OpenCL. Việc đảm bảo các thao tác tensor chính xác trên các vùng nhìn không liên tục giúp ngăn ngừa các lỗi tính toán tinh vi trong quá trình suy luận của mô hình. Bản cập nhật khắc phục sự cố kernel clamp lập chỉ mục sai các nguồn và đích thành các mảng liên tục phẳng. Một kernel phân đoạn chuyên dụng, kernel_clamp_nc, hiện được gọi bất cứ khi nào nguồn đầu vào không có tính liên tục.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở dùng để thực hiện suy luận trên các mô hình ngôn ngữ lớn khác nhau như Llama của Meta. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song đa nền tảng, cho phép các nhà phát triển chạy các tác vụ nặng trên nhiều bộ tăng tốc phần cứng khác nhau.