llama.cpp Phát Hành Bản b11136 Hỗ Trợ API Video Chuẩn Từ OpenAI
Bản phát hành b11136 của llama.cpp đã cập nhật `llama-server` để hỗ trợ loại nội dung `video_url` tiêu chuẩn của OpenAI và các URI dạng `data:video/*`. Thay đổi này khắc phục lỗi khiến các client tương thích với OpenAI thất bại khi gửi dữ liệu video mã hóa base64 hoặc cấu trúc payload video tiêu chuẩn. Việc nâng cao khả năng tuân thủ chuẩn API của OpenAI giúp đảm bảo tính tương thích liền mạch với các công cụ, thư viện và giao diện của bên thứ ba được thiết kế cho mô hình đa thức của OpenAI. Các nhà phát triển sử dụng `llama-server` làm phương án thay thế cục bộ giờ đây có thể xử lý đầu vào video mà không cần tùy chỉnh lại phía client. Bản vá thiết lập `llama-server` coi `video_url` là một tên gọi thay thế (alias) cho `input_video` và trích xuất các đối tượng truyền thông bất kể khóa nào được cung cấp. Ngoài ra, nó kích hoạt hỗ trợ cho các URI `data:video/*`, tương tự như khả năng xử lý URI dữ liệu hình ảnh hiện có của server.
## KIẾN THỨC NỀN
`llama.cpp` là một framework mã nguồn mở phổ biến bằng C/C++ cho phép chạy cục bộ các mô hình ngôn ngữ lớn trên nhiều phần cứng khác nhau. Thành phần HTTP server tích hợp sẵn, `llama-server`, cung cấp endpoint tương thích với OpenAI để các ứng dụng có thể chuyển đổi dễ dàng giữa dịch vụ LLM đám mây và mô hình lưu trữ cục bộ.