llama.cpp Bản b11114 Khắc Phục Lỗi Race Condition Trong Bộ Định Tuyến Server

Bản dựng b11114 của llama.cpp giải quyết các sự cố race condition trong bộ định tuyến server bằng cách đảm bảo mọi yêu cầu tải mô hình đều đi qua hàng đợi trung tâm. Cập nhật này cũng ngăn các yêu cầu mới bị chuyển tới các bản thể mô hình đang trong quá trình dừng hoặc hủy tải. Bản phát hành này nâng cao độ ổn định và độ tin cậy của server khi triển khai suy luận đa mô hình, tránh việc thất thoát yêu cầu và giải phóng mô hình quá sớm. Các nhà phát triển vận hành llama.cpp trong môi trường thực tế sẽ quản lý vòng đời yêu cầu tốt hơn và gặp ít lỗi bất đồng bộ hơn. Được thực hiện trong PR #29217, việc tải mô hình luồng nhanh (fast path) giờ đây bắt buộc đi qua hàng đợi chính để bảo vệ mô hình cho đến khi các yêu cầu đang chờ xử lý xong. Ngoài ra, các yêu cầu nhắm vào mô hình đang dừng sẽ được đưa vào hàng đợi để bản thể mô hình tiếp theo phục vụ, với các cờ trạng thái được đồng bộ hóa dưới một khóa duy nhất.