Bản phát hành llama.cpp b10817 bổ sung công cụ truy vết bộ nhớ SYCL
Bản phát hành llama.cpp b10817 giới thiệu các biến môi trường mới là `GGML_SYCL_MEMTRACE` và `GGML_SYCL_MEMTRACE_STEP` để truy vết bộ nhớ trên backend SYCL. Những biến này cho phép các nhà phát triển theo dõi việc cấp phát và giải phóng bộ nhớ thiết bị theo từng vị trí trong quá trình thực thi mô hình. Theo dõi bộ nhớ chi tiết giúp các nhà phát triển tối ưu hóa các thuật toán phân bổ bộ nhớ như `--fit` và gỡ lỗi rò rỉ bộ nhớ khi chạy LLM trên các backend phần cứng SYCL. Điều này cải thiện hiệu quả sử dụng tài nguyên và độ ổn định cho các hệ thống triển khai dùng GPU Intel cũng như các phần cứng hỗ trợ SYCL khác. Kích hoạt tính năng truy vết yêu cầu đặt mức độ ghi log là `-lv 4`. Việc đặt `GGML_SYCL_MEMTRACE=1` sẽ báo cáo mức sử dụng bộ nhớ mỗi khi tăng thêm 64MiB (có thể tùy chỉnh qua `GGML_SYCL_MEMTRACE_STEP`), trong khi mức 2 sẽ ghi lại từng thao tác cấp phát và giải phóng bộ nhớ.
## KIẾN THỨC NỀN
llama.cpp là một framework C++ mã nguồn mở phổ biến được thiết kế để suy luận mô hình ngôn ngữ lớn (LLM) hiệu quả trên nhiều kiến trúc phần cứng khác nhau. SYCL là một tiêu chuẩn lập trình C++ mở do Khronos Group quản lý nhằm hỗ trợ tính toán song song dị thể, thường được dùng để chạy các tác vụ tính toán trên GPU Intel và các bộ tăng tốc phần cứng khác.