Biểu đồ K2 Horizon gây hiểu lầm về nhu cầu RAM thực tế do KV Cache kém hiệu quả
Một phân tích kỹ thuật về dòng mô hình K2 Horizon mới cho thấy các biểu đồ đánh giá của Artificial Analysis gây hiểu lầm khi chỉ xếp hạng mô hình theo số lượng tham số. Trên thực tế, thiết kế KV cache kém hiệu quả của K2 Horizon làm tăng mạnh dung lượng bộ nhớ thực tế khi suy luận với ngữ cảnh dài. Chỉ riêng số lượng tham số không còn phản ảnh chính xác yêu cầu phần cứng khi bộ nhớ ngữ cảnh chiếm phần lớn tổng dung lượng RAM tiêu thụ. Người dùng chạy LLM cục bộ trên phần cứng cá nhân (như GPU 16GB/24GB VRAM hoặc APU Strix Halo) cần tính đến bộ nhớ ngữ cảnh để lựa chọn mô hình phù hợp. Ở độ dài ngữ cảnh 128k với định dạng lượng hóa Q4_K_M, K2 Horizon 7B tiêu tốn 5 GiB RAM riêng cho ngữ cảnh bên cạnh 5.2 GiB cho trọng số, trong khi Qwen3.6-35B-A3B chỉ cần 0.7 GiB cho ngữ cảnh. Sự phình to bộ nhớ ngữ cảnh này khiến các mô hình K2 Horizon đòi hỏi RAM lớn hơn nhiều trên thực tế, giảm tính khả thi trên các hệ thống giới hạn VRAM.
## KIẾN THỨC NỀN
Trong quá trình suy luận LLM, KV cache lưu trữ thông tin các token trước đó để tăng tốc sinh văn bản, nhưng dung lượng của nó tăng tuyến tính theo độ dài ngữ cảnh. Các phương pháp lượng hóa như Q4_K_M giúp nén trọng số mô hình xuống độ chính xác 4-bit để vừa với VRAM GPU, khiến hiệu quả của KV cache trở thành yếu tố quyết định hàng đầu đối với các tác vụ ngữ cảnh dài.