Phiên bản llama.cpp b11699 bổ sung hỗ trợ proxy và loopback
Phiên bản b11699 của llama.cpp giới thiệu hỗ trợ cho các biến môi trường HTTP_PROXY, HTTPS_PROXY và NO_PROXY tiêu chuẩn trong máy khách HTTP của thư viện này. Bản cập nhật cũng tự động bỏ qua proxy đối với các đích loopback để ngăn chặn tình trạng treo kết nối máy chủ. Bản cập nhật này giải quyết các lỗi tải xuống và sự cố bị treo đối với người dùng hoạt động đằngหลัง tường lửa doanh nghiệp hoặc các mạng bị hạn chế có sử dụng proxy. Nó giúp các công cụ AI cục bộ dễ tiếp cận hơn nhiều trong môi trường doanh nghiệp. Máy khách kiểm tra các biến môi trường cụ thể theo lược đồ và xử lý xác thực cơ bản, đồng thời tự động định tuyến lưu lượng truy cập loopback (như localhost, 127.0.0.1 và ::1) trực tiếp mà không thông qua proxy.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để chạy suy luận trên các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau. Trong môi trường doanh nghiệp hoặc mạng bị hạn chế, việc tải xuống trọng số mô hình và giao tiếp với các phiên bản máy chủ cục bộ thường đòi hỏi phải cấu hình đúng các máy chủ proxy HTTP.