ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12032 với Cập Nhật SYCL
Bản phát hành b12032 của llama.cpp giới thiệu các cập nhật biên dịch nhỏ, cụ thể là bổ sung hỗ trợ PkgConfig cho các tệp bao gồm và thư viện LevelZero trong môi trường SYCL. Bản dựng tăng cường này giúp cải thiện độ tin cậy khi biên dịch và khả năng tích hợp cho các nhà phát triển chạy tăng tốc phần cứng thông qua giao diện SYCL và Intel LevelZero. Những cải tiến về phụ trợ này đảm bảo khả năng tương thích phần cứng rộng hơn và quy trình biên dịch mượt mà hơn cho việc triển khai AI cục bộ. Bản phát hành tập trung chủ yếu vào cấu hình xây dựng SYCL, giúp đơn giản hóa việc định vị các phụ thuộc LevelZero trong quá trình biên dịch thông qua tích hợp PkgConfig từ yêu cầu kéo (pull request) #31076.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. SYCL là một lớp trừu tượng đa nền tảng, miễn phí bản quyền, cho phép tính toán dị thể bằng C++ tiêu chuẩn, trong khi LevelZero cung cấp các giao diện cấp thấp trực tiếp với phần cứng để tăng tốc tính toán.