Jenny: Ứng dụng máy tính mã nguồn mở miễn phí để chạy LLM cục bộ
Nhà phát triển /u/TangySword đã phát hành Jenny, một ứng dụng máy tính Electron miễn phí và mã nguồn mở (giấy phép MIT) được thiết kế để chạy các LLM cục bộ một cách riêng tư. Ứng dụng kết hợp giao diện trò chuyện với tính năng gọi công cụ (tool calling), khả năng hoàn tác (rollback) và một IDE tích hợp. Khi người dùng tìm kiếm quyền riêng tư dữ liệu và các giải pháp thay thế cho dịch vụ AI trả phí trên đám mây, các ứng dụng LLM cục bộ mã nguồn mở giúp họ kiểm soát hoàn toàn quy trình làm việc của mình. Jenny nâng cao khả năng sử dụng AI cục bộ bằng cách cung cấp các cơ chế an toàn như yêu cầu xác nhận đối với các lệnh shell có nguy cơ phá hủy và tự động lưu điểm kiểm soát (checkpoint) cho mã nguồn. Jenny kết nối với các engine backend như llama.cpp, vLLM và các điểm cuối cục bộ tương thích với OpenAI, hỗ trợ các mô hình GGUF thông qua llama-server tích hợp. Ứng dụng hiện hoạt động ổn định trên Windows, trong khi macOS chưa được kiểm thử và Linux chưa được hỗ trợ.
## KIẾN THỨC NỀN
Bộ khung LLM cục bộ (local LLM harness) đóng vai trò là lớp điều phối và giao diện người dùng, cho phép các mô hình AI chạy trực tiếp trên phần cứng cá nhân mà không cần gửi dữ liệu ra máy chủ bên ngoài. Tính năng gọi công cụ (tool calling hoặc function calling) cho phép LLM tương tác với môi trường bên ngoài bằng cách đọc tệp, chỉnh sửa lịch làm việc hoặc thực thi các lệnh hệ thống.