Otaku: Giao diện frontend LLM mã nguồn mở tích hợp cả Web và Terminal
Nhà phát triển Fickle_Tradition4491 đã ra mắt Otaku, một giao diện frontend LLM mã nguồn mở chuẩn MIT dành cho cả trò chuyện nhập vai lẫn trò chuyện tổng quát. Công cụ này cung cấp hai giao diện đồng bộ là Web và Terminal (TUI), hỗ trợ tự động phát hiện các backend cục bộ cũng như kết nối tới các API đám mây. Otaku mang đến một giải pháp linh hoạt thay thế cho các công cụ phổ biến như SillyTavern và Open WebUI bằng cách cho phép người dùng chọn giữa giao diện Web hoặc giao diện dòng lệnh TUI. Tính năng tự động phát hiện các backend giúp đơn giản hóa việc chạy các mô hình LLM cục bộ trên macOS, Linux và Windows. Frontend này tự động kết nối với các công cụ cài đặt cục bộ như Ollama, LM Studio, llama.cpp, KoboldCpp và oMLX, đồng thời tích hợp các dịch vụ đám mây như OpenRouter. Người dùng có thể cài đặt trực tiếp qua trình quản lý gói `uv` của Python và dễ dàng bật/tắt tính năng trích xuất bối cảnh (lore extraction) tùy theo nhu cầu nhập vai hay trò chuyện thông thường.
## KIẾN THỨC NỀN
Frontend LLM là giao diện người dùng giúp tách biệt trải nghiệm trò chuyện và quản lý prompt khỏi các công cụ thực thi mô hình bên dưới. Các giao diện nhập vai phổ biến như SillyTavern tập trung vào việc quản lý nhân vật và bối cảnh (lorebook), trong khi các backend như Ollama đảm nhận nhiệm vụ tính toán mô hình trực tiếp trên phần cứng của người dùng.