llama.cpp Phát Hành Phiên Bản b10151 Tối Ưu Hóa Quá Trình Biên Dịch SYCL Song Song
llama.cpp đã phát hành phiên bản b10151, mang đến cải tiến hệ thống build giúp chạy song song các lệnh gọi trình biên dịch ocloc cho SYCL. Bản cập nhật này nhằm tối ưu hóa quá trình build khi biên dịch phần mềm cho các phần cứng hỗ trợ SYCL. Việc chạy song song các lệnh gọi trình biên dịch giúp giảm thời gian build cho các nhà phát triển khi biên dịch llama.cpp với hỗ trợ SYCL, cải thiện quy trình phát triển cho GPU Intel và các bộ tăng tốc khác. Điều này thể hiện sự duy trì liên tục nhằm tối ưu hóa khả năng hỗ trợ phần cứng đa nền tảng trong hệ sinh thái suy luận LLM. Tối ưu hóa này nhắm cụ thể vào Trình biên dịch ngoại tuyến Intel OpenCL (ocloc) trong quy trình build SYCL. Ngoài ra, bản phát hành này bao gồm các tệp thực thi được biên dịch sẵn cho nhiều nền tảng khác nhau, mặc dù bản build macOS Apple Silicon kích hoạt KleidiAI vẫn đang bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một triển khai mã nguồn mở C/C++ phổ biến để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ với hiệu năng cao. SYCL là một mô hình lập trình đa nền tảng, miễn phí bản quyền dựa trên C++ cho phép các nhà phát triển viết mã cho các bộ tăng tốc không đồng nhất như GPU. Ocloc là Trình biên dịch ngoại tuyến OpenCL của Intel, được sử dụng để biên dịch mã OpenCL hoặc SPIR-V cho các mục tiêu phần cứng Intel cụ thể.