Unsloth Phát Hành Các Định Dạng Lượng Tử Hóa GGUF Cho Ornith-1.5-122B

Unsloth vừa phát hành các tệp lượng tử hóa GGUF cho mô hình Ornith-1.5-122B, giúp những người đam mê AI cục bộ dễ dàng tiếp cận hơn. Các trọng số đã lượng tử hóa này cho phép người dùng chạy mô hình lớn hiệu quả hơn trên phần cứng phổ thông. Bản phát hành này giúp việc chạy một mô hình 122 tỷ tham số khổng lồ trở nên thiết thực hơn đối với các nhà phát triển và nhà nghiên cứu tại nhà. Điều này mở rộng khả năng tiếp cận các mô hình nguồn mở hiệu suất cao ở các định dạng được tối ưu hóa cho hệ thống cấp tiêu dùng. Định dạng GGUF cho phép tải và suy luận các mô hình ngôn ngữ lớn một cách hiệu quả trên nhiều nền tảng phần cứng khác nhau. Người dùng có thể chọn các mức độ lượng tử hóa khác nhau để cân bằng giữa giới hạn bộ nhớ và chất lượng đầu ra.