Phát hành Koboldcpp phiên bản v1.120
Koboldcpp phiên bản v1.120 đã chính thức được phát hành, mang lại các bản cập nhật cho công cụ suy luận Mô hình Ngôn ngữ Lớn (LLM) cục bộ phổ biến và giao diện người dùng của nó. Bản cập nhật này cung cấp cho những người đam mê và nhà phát triển AI cục bộ hiệu suất cùng các tính năng cải tiến để chạy các mô hình nguồn mở. Nó đảm bảo công cụ duy trì khả năng tương thích với những tiến bộ mới nhất trong hệ sinh thái LLM cục bộ. Koboldcpp là một tệp phân phối độc lập hỗ trợ các định dạng GGUF và GGML, tích hợp các khả năng như lượng tử hóa KV cache (quantized KV cache) để tối ưu hóa việc sử dụng bộ nhớ trong quá trình suy luận.
## KIẾN THỨC NỀN
Koboldcpp là một công cụ tạo văn bản bằng AI dễ sử dụng được lấy cảm hứng từ KoboldAI và xây dựng dựa trên llama.cpp. Nó cho phép người dùng chạy các LLM đã được lượng tử hóa cục bộ trên phần cứng tiêu dùng mà không cần thiết lập phức tạp, cung cấp giao diện web và quyền truy cập API.