Bad Theory Labs Ra Mắt BTL-3: Mô Hình Agentic 27B Được Nén Còn 8,39GB
Bad Theory Labs đã phát hành BTL-3, một mô hình mã nguồn mở 27 tỷ tham số (27B) được tối ưu hóa cho việc lập trình tự chủ (agentic coding) và sử dụng công cụ. Phiên bản "Compact" của mô hình được nén chỉ còn 8,39GB (dưới 2,5 bit mỗi tham số) nhờ vào một quy trình lượng tử hóa (quantization) tùy chỉnh, cho phép chạy hoàn toàn cục bộ. Sự kiện này chứng minh rằng các mô hình lớn có thể được nén cực mạnh xuống kích thước nhỏ hơn cả mô hình 8B ở định dạng fp16 mà vẫn giữ được hơn 92% hiệu suất gốc. Điều này cho phép các nhà phát triển vận hành các tác nhân lập trình (coding agents) bảo mật, cục bộ và hiệu năng cao ngay trên phần cứng tiêu dùng thông thường. Mô hình sở hữu cửa sổ ngữ cảnh lên tới 262K và đạt điểm số 95,12% pass@1 trên HumanEval cùng 88,5% trên benchmark BFCL v4 AST. Quy trình lượng tử hóa tùy chỉnh sử dụng các kỹ thuật như packed AVQ2 decoder tensors, affine INT4 và hiệu chỉnh đầu ra rank-32 để giảm thiểu sự suy giảm chất lượng.
## KIẾN THỨC NỀN
Lượng tử hóa (quantization) là kỹ thuật giảm dung lượng bộ nhớ của LLM bằng cách biểu diễn các trọng số với ít bit hơn, mặc dù các phương pháp tiêu chuẩn thường làm giảm hiệu suất ở mức bit rất thấp. GGUF là một định dạng tệp nhị phân phổ biến được tối ưu hóa để tải nhanh và chạy các mô hình cục bộ, trong khi các bộ thử nghiệm như Berkeley Function Calling Leaderboard (BFCL) được dùng để đánh giá khả năng gọi các công cụ và API bên ngoài của mô hình.