Kho chứa mã nguồn CachyLLama trên GitHub đã bị nhà phát triển Fewtarius lưu trữ
Nhà phát triển fewtarius đã chuyển kho chứa mã nguồn CachyLLama — một dự án suy luận LLM hiệu năng cao — sang trạng thái lưu trữ (archive) trên GitHub mà không đưa ra giải thích chính thức nào. Mặc dù CachyLLama là một dự án chuyên biệt, việc đột ngột ngưng phát triển này phản ánh những lo ngại kéo dài về tình trạng kiệt sức của các nhà phát triển và tính bền vững của các dự án AI mã nguồn mở. CachyLLama được phát triển dưới dạng một bản fork của llama.cpp, giới thiệu lớp bộ nhớ đệm KV lưu trữ cố định trên SSD nhằm giúp các phiên suy luận mô hình ngôn ngữ lớn (LLM) khởi động tức thì.
## KIẾN THỨC NỀN
llama.cpp là một công cụ C/C++ phổ biến dùng để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên máy tính cá nhân. CachyLLama mở rộng nền tảng này bằng cách bổ sung bộ nhớ đệm KV (Key-Value) lưu giữ cố định trên SSD, cho phép người dùng tiếp tục phiên suy luận mà không cần tính toán lại các kích hoạt (activations).