llama.cpp Phát Hành Phiên Bản b10694 Sửa Lỗi RPC Trên macOS Cũ
llama.cpp đã phát hành phiên bản b10694, mang đến bản sửa lỗi cho backend Remote Procedure Call (RPC) trên các phiên bản macOS không hỗ trợ Remote Direct Memory Access (RDMA). Bản phát hành này giải quyết lỗi #27815 nhằm khôi phục khả năng tương thích cho các hệ thống macOS cũ hơn. Bản cập nhật này đảm bảo người dùng chạy các môi trường macOS cũ hơn vẫn có thể tiếp tục sử dụng khả năng suy luận phân tán của llama.cpp mà không gặp lỗi RPC. Nó duy trì khả năng tương thích ngược cho các cụm máy Mac dựa vào việc phân tải tính toán qua mạng cho các mô hình ngôn ngữ lớn. Bản phát hành bao gồm các tệp thực thi được biên dịch sẵn cho nhiều nền tảng khác nhau, mặc dù phiên bản macOS Apple Silicon kích hoạt KleidiAI vẫn bị vô hiệu hóa. Bản sửa lỗi này nhắm cụ thể vào backend RPC, vốn phân phối trọng số mô hình và KV cache giữa các thiết bị cục bộ và từ xa.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến cho phép suy luận LLM hiệu quả trên phần cứng tiêu dùng. Backend RPC của nó cho phép người dùng chia nhỏ các tính toán mô hình trên nhiều máy tính, chẳng hạn như kết nối nhiều máy Mac qua mạng. Các bản cập nhật macOS gần đây đã giới thiệu RDMA (Remote Direct Memory Access) qua Thunderbolt để tăng tốc các kết nối này, nhưng các phiên bản macOS cũ hơn thiếu tính năng này đã gặp sự cố với triển khai RPC của llama.cpp.