ggerganov/llama.cpp Phát Hành Phiên Bản b12144 với Các Tối Ưu Hóa CUDA MoE
Thư viện llama.cpp đã phát hành phiên bản b12144, mang đến các tối ưu hóa CUDA cho cấu trúc dữ liệu Mixture of Experts (MoE) và áp dụng các tối ưu hóa kích thước ô MMQ rộng rãi hơn. Thêm vào đó, bản cập nhật này cũng khắc phục một sự cố suy giảm hiệu năng ảnh hưởng đến các phép tính F16. Những tối ưu hóa có mục tiêu này giúp cải thiện tốc độ thực thi và hiệu quả khi chạy các mô hình ngôn ngữ lớn sử dụng kiến trúc Mixture of Experts trên GPU NVIDIA. Điều này mang lại lợi ích trực tiếp cho những người dùng phụ thuộc vào các công cụ suy luận cục bộ chạy bằng llama.cpp cho các tác vụ AI nặng. Bản cập nhật tiến hành tuyến tính hóa cấu trúc dữ liệu MoE dành riêng cho các thao tác MMQ và MMF trên CUDA, đồng thời mở rộng việc tối ưu hóa kích thước ô MMQ và sửa lỗi suy giảm hiệu năng F16.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng thư viện tensor GGML. Mixture of Experts (MoE) là một kiến trúc mạng thần kinh giúp mở rộng dung lượng mô hình hiệu quả bằng cách định tuyến các token đến các tiểu mạng cụ thể (các chuyên gia) trong quá trình tính toán.