~/LLM/basalt-0-4-0-released-with-qwen-27b-achieving-up-to-770

Phát hành Basalt 0.4.0 với Qwen 27B đạt tốc độ lên tới 770 tok/s trên RTX 5090

Phiên bản Basalt 0.4.0 đã chính thức phát hành, bổ sung hỗ trợ đa mô hình, xử lý video và lần đầu tiên cho phép chạy mô hình dạng稠密 (dense model) Qwen 27B. Cấu hình này đạt tốc độ lên tới 770 token mỗi giây đối với đầu ra có cấu trúc trên card đồ họa RTX 5090. Bản phát hành này đánh dấu cột mốc hiệu suất khổng lồ khi chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng tiêu dùng nhờ các kernel tùy chỉnh tối ưu và kỹ thuật lượng tử hóa. Điều này cho thấy các công cụ suy luận chuyên biệt có thể giảm độ trễ và tăng thông lượng đáng kể cho người dùng thông thường cũng như nhà phát triển. Mô hình dense Qwen 3.8 27B duy trì độ chính xác top-1 là 92.8% so với mô hình BF16 đầy đủ, đồng thời đạt tốc độ lên tới 776 tok/s cho đầu ra có cấu trúc, 262 tok/s khi trò chuyện và tốc độ tiền nạp (prefill) đạt 12.000 tok/s ở cửa sổ ngữ cảnh 4k.

## KIẾN THỨC NỀN

Lượng tử hóa làm giảm độ chính xác của trọng số mô hình từ các định dạng độ chính xác cao như dấu phẩy động 32-bit xuống các mức thấp hơn để thu nhỏ kích thước mô hình và tăng tốc độ suy luận. Mô hình dense kích hoạt toàn bộ tham số cho mỗi đầu vào trong quá trình suy luận, mang lại quy trình huấn luyện đơn giản hơn nhưng thường có thông lượng thấp hơn so với các kiến trúc thưa thớt.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#Quantization#Performance Optimization#Local AI#Hardware Acceleration

$ subscribe --daily