Boole-1.7B: Mô hình 1-bit Qwen3-1.7B mới vượt trội hơn Bonsai-1.7B

Precision Numerics đã phát hành Boole-1.7B, một phiên bản lượng tử hóa 1-bit cực đoan của mô hình Qwen3-1.7B. Chỉ nặng 247 MB, mô hình này đạt tỷ lệ giảm kích thước 13.9 lần so với định dạng BF16 và vượt trội hơn mô hình cơ sở Bonsai-1.7B 1-bit hiện có. Bản phát hành này đánh dấu một cột mốc quan trọng trong lĩnh vực trí tuệ nhân tạo biên và mô hình ngôn ngữ cục bộ bằng cách chứng minh rằng phương pháp lượng tử hóa 1-bit cực đoan vẫn có thể duy trì độ chính xác cao. Những mô hình siêu nhẹ như vậy cho phép thực thi hiệu quả trên các thiết bị bị hạn chế tài nguyên, thiết bị đeo thông minh và trực tiếp ngay trong trình duyệt web. Boole-1.7B giữ lại 85.9% điểm số trung bình của mô hình BF16 gốc qua bộ tiêu chuẩn đánh giá gồm 10 tác vụ. Mô hình hỗ trợ thực thi cục bộ thông qua các công cụ như vLLM, llama.cpp và thậm chí có thể được thử nghiệm trực tiếp ngay trong các trình duyệt web.