ggerganov/llama.cpp phát hành phiên bản b11684 với các bản vá lỗi kiểm thử Metal Fusion
Bản phát hành b11684 của llama.cpp giới thiệu các bản vá lỗi kiểm thử cho các hàng bị biến mất trong đường cơ sở Metal fusion và cập nhật các mô hình giả lập. Phiên bản này đảm bảo rằng các kết hợp fusion bị thiếu sẽ được báo cáo chính xác là sự thụt lùi (regression) thay vì bị bỏ qua một cách lặng lẽ. Việc duy trì cơ sở hạ tầng kiểm thử vững chắc giúp đảm bảo các tối ưu hóa trên phần cứng Apple Silicon luôn đáng tin cậy và các sự suy giảm hiệu năng được phát hiện từ sớm. Điều này ngăn chặn các lỗi ngầm trong việc kết hợp toán tử vốn dùng để tăng tốc suy luận mô hình cục bộ. Bản cập nhật ghi lại đường cơ sở Metal fusion lên 277 hàng, sửa lỗi cổng softmax cho mô hình giả lập Mellum và thêm mô hình muse-spark vào đường cơ sở kiểm thử. Các thay đổi này nhắm đến bộ kiểm thử nhằm ngăn chặn tình trạng cập nhật kiến trúc mô hình khiến các kết hợp fusion ngừng khớp mà không làm hỏng công việc CI.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận cục bộ hiệu quả trên các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML. Khung làm việc Metal là API đồ họa và tính toán của Apple, được llama.cpp tận dụng để tăng tốc suy luận mô hình AI trên các thiết bị Apple Silicon như MacBook.