Phiên bản Pi 0.81.0 bổ sung hỗ trợ tích hợp cho llama.cpp
Bộ công cụ tác nhân AI Pi đã phát hành phiên bản 0.81.0, giới thiệu hỗ trợ tích hợp gốc cho llama.cpp thông qua bộ định tuyến llama-server. Bản cập nhật này loại bỏ nhu cầu người dùng phải cấu hình mô hình thủ công hoặc sử dụng tiện ích mở rộng huggingface/pi-llama. Sự tích hợp này đơn giản hóa việc triển khai cục bộ các mô hình ngôn ngữ lớn trong bộ công cụ tác nhân Pi, giảm bớt rào cản cho các nhà phát triển chạy tác nhân AI cục bộ. Bằng cách tinh giản quản lý mô hình, nó nâng cao khả năng sử dụng của các quy trình làm việc mã nguồn mở trên phần cứng cục bộ. Bản cập nhật tận dụng bộ định tuyến llama-server để xử lý suy luận mô hình trực tiếp, thay thế cho các giải pháp tạm thời trước đây. Người dùng hiện có thể quản lý các mô hình cục bộ một cách tự nhiên mà không cần phụ thuộc vào các tiện ích mở rộng bên ngoài hoặc các tệp cấu hình phức tạp.
## KIẾN THỨC NỀN
Pi là một bộ công cụ tác nhân AI được thiết kế để giúp các nhà phát triển chạy các tác nhân lập trình một cách an toàn và hiệu quả. Trong khi đó, llama.cpp là một thư viện C/C++ mã nguồn mở được sử dụng rộng rãi, cho phép suy luận LLM cục bộ hiệu năng cao với thiết lập tối thiểu. Thành phần llama-server của llama.cpp cung cấp một giao diện máy chủ nhẹ để lưu trữ các mô hình cục bộ này.