UkisAI khảo sát ý kiến cộng đồng về bản tối ưu Swift Ternary Bonsai 2 27B

UkisAI đã thăm dò ý kiến cộng đồng r/LocalLLaMA về việc tạo ra phiên bản 'Swifted' định dạng ternary quantization cho mô hình Bonsai 2 27B nhằm tối ưu số lượng token. Phương án tối ưu này hướng tới mục tiêu sửa lỗi lặp suy nghĩ quá mức (overthinking loops) và giảm mức tiêu thụ token, tiếp nối thành công của mô hình Swift Qwen trước đó. Khắc phục hành vi suy nghĩ quá mức và tiêu tốn nhiều token ở các mô hình suy luận giúp giảm đáng kể độ trễ phản hồi và tiết kiệm tài nguyên phần cứng. Ngoài ra, việc áp dụng kỹ thuật định lượng nạp ba giá trị (ternary quantization) giúp các mô hình 27B tham số hoạt động hiệu quả hơn trên thiết bị cá nhân. UkisAI cho biết bản nén Swift Qwen3.8 27B trước đây của họ đã tăng lượt tải xuống từ 100.000 lên 150.000 chỉ sau một đêm. Họ đang xin ý kiến phản hồi từ cộng đồng AI địa phương về việc họ thích phiên bản định lượng 1-bit, 2-bit hay cả hai đối với Bonsai 2.