Telperion phát hành các biến thể Qwen3.8-27B-MLA và GLA với khả năng nén KV cache gấp 4 lần
Telperion vừa phát hành các biến thể chú thích tiềm ẩn mới của mô hình Qwen3.8-27B, mang tên Qwen3.8-27B-MLA và Qwen3.8-27B-GLA-g2. Các mô hình này đạt tỷ lệ nén bộ nhớ đệm KV (KV cache) gấp 4 lần, đồng thời cải thiện hiệu suất chuẩn kỹ thuật phần mềm và giảm lượng token suy luận. Bản phát hành này cải thiện đáng kể hiệu suất bộ nhớ trong quá trình tạo văn bản, cho phép tăng gần bốn lần độ dài ngữ cảnh trên phần cứng cá nhân hoặc nâng cao số lượng người dùng đồng thời trên máy chủ. Điều này chứng minh rằng các cơ chế chú ý tiên tiến có thể áp dụng hiệu quả cho các mô hình mã nguồn mở hiện có mà không cần huấn luyện lại tốn kém. Biến thể MLA đạt điểm số 42,1% trên SWE-bench Verified trong khi sử dụng ít hơn hơn 20% token suy luận. Ngoài ra, Telperion đã cung cấp một biến thể tiềm ẩn theo nhóm (GLA-g2) nhằm giải quyết nút thắt cổ chai bộ nhớ trên nhiều GPU, đi kèm với các plugin vLLM tùy chỉnh hỗ trợ các mức lượng tử hóa xuống đến INT4 và EXL3.
## KIẾN THỨC NỀN
KV cache (bộ nhớ đệm Key-Value) lưu trữ các khóa và giá trị chú ý đã tính toán trước đó trong quá trình sinh văn bản nhằm tránh lặp lại các phép tính dư thừa, nhưng nó lại chiếm dụng rất nhiều bộ nhớ GPU khi độ dài ngữ cảnh tăng lên. Cơ chế Chú ý tiềm ẩn đa đầu (MLA) giải quyết nút thắt cổ chai này bằng cách nén các tensor khóa-giá trị vào một không gian tiềm ẩn chiều thấp, giúp giảm đáng kể dung lượng bộ nhớ mà vẫn duy trì hiệu suất mô hình.