llama.cpp Phát Hành Phiên Bản b11450 Bổ Sung Hỗ Trợ Tensor Split Cho RPC
Bản phát hành b11450 của llama.cpp bổ sung hỗ trợ chế độ chia tách tensor (`-sm tensor`) qua Remote Procedure Call (RPC), cho phép phân chia tensor giữa các nút trong mạng. Cập nhật này cũng sửa lỗi xử lý flush cho truyền tải Apple RDMA và tối ưu hóa loại bỏ việc xoay luồng điều phối CPU. Mở rộng tính năng chia tách tensor sang RPC giúp các hệ thống suy luận phân tán có thể phân chia các lớp mô hình trên nhiều máy tính nối mạng thay vì chỉ dựa vào phân chia theo từng lớp. Điều này tăng cường tính linh hoạt và hiệu quả bộ nhớ khi vận hành các mô hình ngôn ngữ lớn trên cụm phần cứng. Vì bản phát hành này nâng phiên bản chính của RPC, người dùng phải cập nhật đồng thời cả nút máy khách và máy chủ do có sự thay đổi giao thức không tương thích ngược. Các thay đổi kỹ thuật khác bao gồm chuyển `graph_uids` vào `rpc_dispatcher` và tinh chỉnh logic backend.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở viết bằng C/C++ dùng để chạy các mô hình ngôn ngữ lớn trên thiết bị cục bộ với hiệu suất cao. Khả năng RPC tích hợp của nó cho phép người dùng kết nối nhiều máy tính qua mạng để kết hợp bộ nhớ và sức mạnh tính toán nhằm vận hành các mô hình dung lượng lớn.