llama.cpp b10455 bổ sung hỗ trợ SYCL cho bộ tối ưu hóa AdamW và SGD
Dự án llama.cpp đã phát hành bản dựng b10455, giới thiệu hỗ trợ backend SYCL cho các bước tối ưu hóa AdamW (OPT_STEP_ADAMW) và SGD (OPT_STEP_SGD). Bản cập nhật này cho phép các hoạt động tối ưu hóa cụ thể này chạy trên phần cứng tương thích với framework SYCL. Việc bổ sung hỗ trợ SYCL cho các bước tối ưu hóa này cho phép các nhà phát triển thực hiện các tác vụ huấn luyện và tinh chỉnh mô hình hiệu quả hơn trên nhiều loại phần cứng không đồng nhất, chẳng hạn như GPU của Intel. Điều này mở rộng khả năng của llama.cpp từ việc chỉ suy luận sang các tác vụ tối ưu hóa được tăng tốc bằng phần cứng. Bản phát hành cung cấp các tệp thực thi được biên dịch sẵn cho nhiều nền tảng, bao gồm Windows và Ubuntu hỗ trợ SYCL (FP16 và FP32). Tuy nhiên, một số bản dựng nhất định, chẳng hạn như macOS tích hợp KleidiAI và Ubuntu hỗ trợ ROCm 7.14, đã bị vô hiệu hóa trong bản phát hành này do các vấn đề tích hợp chưa được giải quyết.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến được thiết kế để suy luận LLM hiệu quả trên nhiều backend phần cứng khác nhau. SYCL là một mô hình lập trình đa nền tảng, mở do Khronos Group phát triển, cho phép các nhà phát triển viết mã cho các bộ xử lý không đồng nhất (như CPU, GPU và FPGA) bằng C++ tiêu chuẩn. AdamW và SGD (Stochastic Gradient Descent) là các thuật toán tối ưu hóa được sử dụng rộng rãi trong học máy để cập nhật trọng số mô hình trong quá trình huấn luyện.