llama.cpp phát hành phiên bản b11027 với bản sửa lỗi lọc thiết bị RPC
llama.cpp đã phát hành bản dựng b11027, bổ sung một bản sửa lỗi nhằm bỏ qua các thiết bị tăng tốc (ACCEL) trong backend máy chủ Remote Procedure Call (RPC). Bản cập nhật này nâng cao độ ổn định khi chạy suy luận LLM phân tán qua mạng giữa các thiết bị, ngăn ngừa tình trạng sập chương trình do chia sẻ các backend tăng tốc không được hỗ trợ tới bộ điều phối (scheduler). Được triển khai qua pull request #29020, bản sửa lỗi đảm bảo rằng `ggml-rpc-server` lọc bỏ các thiết bị ACCEL, giải quyết các sự cố khi kết hợp các phần cứng như Apple Silicon Mac và PC dùng GPU NVIDIA.
## KIẾN THỨC NỀN
llama.cpp là một khung làm việc C/C++ mã nguồn mở được tối ưu hóa để chạy các Mô hình Ngôn ngữ Lớn hiệu quả trên phần cứng thương mại. Backend RPC của dự án cho phép suy luận phân tán bằng cách chia sẻ tải tính toán và bộ nhớ trên nhiều máy tính kết nối trong mạng nội bộ.