Blockway Phát Hành Agens Volundr 32B v1 với Các Bản Vá Lớn và Động Cơ Mới
Blockway đã phát hành Agens Volundr 32B v1 nhằm giải quyết các phản hồi từ cộng đồng trong bản xem trước bằng cách loại bỏ vòng lặp lặp lại, bổ sung tính năng tiếp tục phiên để suy luận nhanh hơn, và giới thiệu Agens Engine cấp phép MIT hỗ trợ cửa sổ ngữ cảnh lớn trong ngân sách 16 GB. Bản phát hành này cho thấy phản hồi trực tiếp từ cộng đồng có thể thúc đẩy sự cải tiến nhanh chóng của các mô hình ngôn ngữ lớn chạy cục bộ, giúp các tác vụ tác nhân phức tạp và cửa sổ ngữ cảnh lớn trở nên khả thi trên phần cứng phổ thông. Mô hình sử dụng lượng tử hóa hỗn hợp 2/3/4-bit, hỗ trợ tới 262K token ngữ cảnh trong giới hạn ngân sách bộ nhớ 16 GB nghiêm ngặt, đồng thời đạt tốc độ giải mã nhanh hơn đáng kể thông qua các tối ưu hóa kiến trúc lai.
## KIẾN THỨC NỀN
SWE-bench là một bộ tiêu chuẩn phổ biến dùng để đánh giá các mô hình ngôn ngữ lớn trong các tác vụ kỹ thuật phần mềm thực tế bằng cách giải quyết các vấn đề trên GitHub. Các kỹ thuật lưu đệm tiền tố và tiếp tục phiên giúp cải thiện hiệu suất bằng cách tái sử dụng các khóa và giá trị chú ý đã tính toán trước đó qua các lượt hội thoại thay vì tính toán lại toàn bộ lịch sử.