llama.cpp Phát Hành Phiên Bản b10328 Hỗ Trợ Cô Lập Công Cụ Qua Docker
Phiên bản llama.cpp b10328 giới thiệu hỗ trợ ban đầu cho việc cô lập quá trình thực thi công cụ bên trong các container Docker trong thành phần máy chủ của nó. Bản cập nhật này bao gồm các thay đổi đối với API máy chủ, chẳng hạn như đổi tên cấu hình sandbox thành cô lập (isolate) và giới thiệu header x-tool-runtime. Việc cho phép các mô hình ngôn ngữ lớn (LLM) thực thi các công cụ bên ngoài mang lại rủi ro bảo mật lớn, chẳng hạn như thực thi mã tùy ý. Việc cô lập các công cụ này bên trong container Docker giúp giảm thiểu các lỗ hổng bảo mật này, giúp các quy trình làm việc của tác nhân AI (agentic workflows) an toàn hơn trong môi trường sản xuất. Bản triển khai này phân tách các khái niệm tools_io_sandbox và tools_io_docker trong khi chuẩn hóa theo thuật ngữ "isolate". Nó cũng giới thiệu tham số x-tool-runtime để quản lý môi trường runtime cho việc thực thi công cụ.
## KIẾN THỨC NỀN
llama.cpp là một công cụ suy luận LLM mã nguồn mở phổ biến được thiết kế để đạt hiệu suất cao trên phần cứng tiêu dùng. Trong các quy trình làm việc của tác nhân AI, LLM sử dụng tính năng gọi công cụ (tool calling) để tương tác với các cơ sở dữ liệu bên ngoài, API hoặc chạy mã, điều này đòi hỏi cơ chế sandbox nghiêm ngặt để ngăn chặn các hành động độc hại trên hệ thống máy chủ.