Poolside ra mắt Laguna-S-2.1, mô hình mã nguồn mở mới với 120 tỷ tham số
Poolside đã phát hành Laguna-S-2.1, một mô hình ngôn ngữ lớn mã nguồn mở mới với 120 tỷ tham số. Bản phát hành này đi kèm các phiên bản định dạng GGUF, hiện tương thích với một nhánh tùy chỉnh của thư viện suy luận llama.cpp. Bản phát hành này mang đến một ứng cử viên mới đáng chú ý trong phân khúc mô hình mã nguồn mở có số lượng tham số lớn, vốn rất được cộng đồng LLM chạy cục bộ mong đợi. Nó cung cấp cho các nhà phát triển và nghiên cứu một lựa chọn mạnh mẽ mới để chạy các mô hình quy mô lớn tại địa phương. Để chạy các phiên bản GGUF của Laguna-S-2.1, người dùng hiện phải sử dụng một nhánh tùy chỉnh của llama.cpp thay vì kho lưu trữ chính. Các trọng số mô hình và tệp GGUF hiện được lưu trữ trên Hugging Face.
## KIẾN THỨC NỀN
Poolside AI là một công ty khởi nghiệp tập trung vào việc xây dựng các mô hình ngôn ngữ lớn được tối ưu hóa cho các tác vụ kỹ thuật phần mềm và lập trình. GGUF là định dạng tệp nhị phân được thiết kế bởi dự án llama.cpp nhằm lưu và tải dữ liệu mô hình nhanh chóng, giúp tối ưu hóa hiệu suất suy luận LLM cục bộ. llama.cpp là một thư viện C/C++ mã nguồn mở phổ biến cho phép thực thi các LLM trên phần cứng tiêu dùng.