Bản phát hành llama.cpp b11720 bổ sung hỗ trợ phép toán SUM không liên tục
Bản phát hành b11720 của llama.cpp bổ sung khả năng hỗ trợ các phép toán SUM không liên tục trên nhiều nền tảng phần cứng khác nhau, bao gồm CPU, CUDA, Vulkan và WebGPU. Bản cập nhật này cũng đi kèm với các trường hợp kiểm thử cụ thể để xác thực thao tác SUM trên các góc nhìn tensor không liên tục. Cải tiến này giúp nâng cao tính linh hoạt và hiệu suất của các phép toán tensor trong nền tảng GGML, vốn vận hành nhiều công cụ học máy chạy cục bộ. Việc mở rộng hỗ trợ thao tác không liên tục giúp ngăn ngừa các điểm nghẽn hiệu năng và giảm bớt nhu cầu sắp xếp lại bộ nhớ một cách tường minh. Bản cập nhật trải dài trên các cài đặt cho CPU, NVIDIA CUDA, Vulkan và WebGPU, đảm bảo tính đồng bộ kiến trúc rộng rãi hơn. Các nhà phát triển làm việc với các phép biến đổi tensor phức tạp sẽ được hưởng lợi từ các khả năng rút gọn không liên tục nguyên bản này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML. Tensor không liên tục xảy ra khi các phần tử dữ liệu không được lưu trữ tuần tự trong bộ nhớ, thường là kết quả của các phép toán như chuyển vị hoặc cắt lát.