llama.cpp phát hành bản b11173 sửa lỗi ghi lại đồ thị Apple Metal
llama.cpp đã phát hành bản vá b11173, mang đến các bản sửa lỗi tập trung cho tính năng ghi lại đồ thị (graph capture) trên Apple Metal và xử lý đồ thị tính toán rỗng. Bản cập nhật giúp xử lý an toàn các đồ thị không có nút, dọn dẹp logic bộ đếm ghi hình và cải thiện việc báo lỗi. Bản vá này cải thiện tính ổn định và hỗ trợ gỡ lỗi cho nhà phát triển khi thực thi suy luận LLM cục bộ trên các thiết bị macOS và iOS thông qua Apple Metal. Nó ngăn ngừa các luồng tính toán không cần thiết và cung cấp hướng dẫn rõ ràng hơn khi quá trình ghi lại GPU gặp lỗi. Cụ thể, bản vá điều chỉnh `ggml_metal_op_init` để chỉ phát các dấu vết nhóm gỡ lỗi GPU trong các bước tính toán được ghi lại, đồng thời bổ sung gợi ý cài đặt `METAL_CAPTURE_ENABLED=1` trong thông báo lỗi.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận mã nguồn mở được thiết kế để chạy hiệu quả các Mô hình Ngôn ngữ Lớn trên nhiều nền tảng phần cứng khác nhau. Apple Metal là khung đồ họa và tính toán song song cấp thấp của Apple, cho phép llama.cpp tận dụng GPU Apple Silicon để tăng tốc phần cứng.