ggerganov/llama.cpp phát hành phiên bản b12431
Bản phát hành b12431 của llama.cpp cải thiện tính năng xử lý lỗi của máy chủ bằng cách trả về mã trạng thái 400 khi có yêu cầu sử dụng mức độ nỗ lực suy luận không được hỗ trợ. Thay vì gặp lỗi 500 của máy chủ, các yêu cầu có mức nỗ lực không hợp lệ giờ đây sẽ bị từ chối chính xác ngay trong quá trình phân tích tham số. Bản cập nhật này nâng cao độ ổn định của API và tính tương thích cho các nhà phát triển tích hợp máy chủ LLM cục bộ với các điểm cuối tương thích của OpenAI. Mã lỗi chính xác giúp việc gỡ lỗi các ứng dụng phía máy khách trở nên mượt mà hơn đáng kể. Bản cập nhật sửa đổi hàm oaicompat_chat_params_parse để bắt các tham số nỗ lực suy luận không được hỗ trợ và liệt kê các mức được hỗ trợ trong phản hồi. Các bí danh hợp lệ và các mức bị mẫu (template) bỏ qua sẽ không bị ảnh hưởng.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận cục bộ hiệu quả đối với các mô hình ngôn ngữ lớn thông qua thư viện tensor GGML. Máy chủ tích hợp sẵn của nó cung cấp giao diện API tương thích với OpenAI, cho phép các nhà phát triển chạy mô hình cục bộ trong khi vẫn sử dụng các cấu trúc API tiêu chuẩn.