llama.cpp b11121 Thêm Hỗ Trợ SYCL Cho Thao Tác get_rows_back
llama.cpp đã phát hành bản dựng tự động b11121, bổ sung hỗ trợ backend SYCL cho thao tác tensor get_rows_back. Bản cập nhật này hỗ trợ thao tác này cụ thể cho các định dạng độ chính xác dấu phẩy động 32-bit (FP32) và 16-bit (FP16). Thay đổi này cải thiện khả năng tương thích toán tử cho phần cứng chạy trên hệ sinh thái SYCL, chẳng hạn như GPU Intel, giúp tính năng backend SYCL tiệm cận hơn với các công cụ thực thi khác. Điều này giúp đảm bảo việc suy luận LLM diễn ra mượt mà trên nhiều thiết bị tính toán hỗn hợp hơn. Pull request (#25266) giới hạn hỗ trợ ban đầu của get_rows_back trong backend SYCL ở hai định dạng FP32 và FP16, đồng thời cập nhật tài liệu trong ops.md. Các tệp thực thi biên dịch sẵn cho phiên bản b11121 cũng được phát hành cho các nền tảng macOS, Linux, Windows, Android và Snapdragon trên nhiều backend khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ hiệu năng cao được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. SYCL là chuẩn mô hình lập trình C++ mở và đa nền tảng do Khronos Group duy trì, cho phép mã nguồn chạy hiệu quả trên các kiến trúc phần cứng hỗn hợp như GPU và thiết bị tăng tốc.