Underdog AI ra mắt Saluki 27B: Mô hình 27B lượng hóa 2-bit dung lượng 7,89GB

Phòng thí nghiệm Underdog AI vừa phát hành Saluki 27B, một phiên bản tinh chỉnh được lượng hóa 2-bit từ Qwen3.8-27B với dung lượng nén chỉ 7,89 GB. Được thiết kế chuyên biệt cho các ứng dụng AI agent với đầu vào/đầu ra dạng văn bản, mô hình này có thể chạy trực tiếp thông qua llama.cpp chuẩn. Chạy một mô hình LLM 27 tỷ tham số tại chỗ (local) thường yêu cầu hơn 20GB VRAM, nhưng Saluki 27B cho phép triển khai các mô hình phức tạp trên GPU người dùng phổ thông chỉ cần dưới 8GB VRAM. Mô hình này cũng minh chứng rằng việc kết hợp tinh chỉnh chuyên biệt với lượng hóa 2-bit có thể giữ nguyên hoặc thậm chí nâng cao các kỹ năng agent như khả năng sử dụng công cụ. Saluki 27B vượt trội hơn Qwen3.8-27B gốc về khả năng lựa chọn công cụ và gọi nhiều công cụ song song, mặc dù khả năng suy luận toán học bị suy giảm. Mô hình sử dụng định dạng GGUF chuẩn của llama.cpp, cho phép tương thích ngay lập tức với các ứng dụng suy luận local phổ biến mà không cần biên dịch tùy chỉnh.