Phát hành các phiên bản lượng tử hóa Unsloth của Laguna S 2.1
Các phiên bản lượng tử hóa của mô hình ngôn ngữ Laguna S 2.1 đã được phát hành, tối ưu hóa bằng cách sử dụng khung làm việc Unsloth. Các định dạng mới này cho phép người dùng chạy mô hình với yêu cầu phần cứng thấp hơn đáng kể. Laguna S 2.1 là một mô hình lập trình tác tử có năng lực cao, và việc lượng tử hóa giúp các nhà phát triển dễ dàng chạy mô hình này cục bộ hơn. Bằng cách giảm dung lượng tính toán, nó hạ thấp rào cản tiếp cận đối với việc lập trình được hỗ trợ bởi AI tiên tiến. Mô hình Laguna S 2.1, được phát triển bởi Poolside, có kích thước 118B-A8B và đạt điểm số 70,2% trên Terminal-Bench 2.1. Các phiên bản lượng tử hóa mới được cung cấp nhờ các công cụ tối ưu hóa từ đội ngũ Unsloth.
## KIẾN THỨC NỀN
Laguna S 2.1 là một mô hình AI được thiết kế bởi Poolside dành riêng cho các tác vụ lập trình tác tử. Lượng tử hóa là một kỹ thuật nén mô hình giúp chuyển đổi trọng số từ các định dạng độ chính xác cao sang các định dạng độ chính xác thấp hơn để tiết kiệm bộ nhớ và tính toán. Unsloth là một khung làm việc mã nguồn mở được thiết kế để tăng tốc quá trình huấn luyện và chạy các LLM cục bộ.