~/LLM/nous-research-arete-27b-gguf-quants-released-on-reddit

Phát hành các định dạng GGUF cho mô hình Nous Research Arete-27B trên Reddit

Một thành viên trên Reddit đã chia sẻ các tệp lượng tử hóa GGUF cho mô hình ngôn ngữ Nous Research Arete-27B, cho phép chạy mô hình này cục bộ. Các tệp này giúp các kỹ sư và người dùng chạy mô hình 27 tỷ tham số trên phần cứng phổ thông với yêu cầu về VRAM thấp hơn. Việc cung cấp các tệp lượng tử hóa GGUF giúp các mô hình mã nguồn mở tiên tiến dễ tiếp cận hơn đối với các nhà nghiên cứu và người có sở thích không sở hữu cụm GPU doanh nghiệp cao cấp. Điều này thúc đẩy việc triển khai cục bộ và tiếp tục thử nghiệm với các mô hình của Nous Research. Bản phát hành nhắm đến mô hình Arete-27B, đây là một phiên bản đã qua huấn luyện hậu kỳ của kiến trúc Qwen do Nous Research thiết kế. Việc tối ưu hóa theo định dạng GGUF cho phép suy luận lai giữa CPU và GPU một cách hiệu quả để linh hoạt trong việc triển khai.

## KIẾN THỨC NỀN

GGUF là một định dạng tệp do nhóm llama.cpp thiết kế để lưu trữ các mô hình ngôn ngữ nhằm suy luận cục bộ hiệu quả trên phần cứng phổ thông. Quá trình lượng tử hóa làm giảm độ chính xác của trọng số mô hình, đánh đổi một lượng nhỏ độ chính xác để có kích thước tệp nhỏ hơn đáng kể và mức tiêu thụ bộ nhớ thấp hơn.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#GGUF#Model Quantization#Open Source AI

$ subscribe --daily