RecursiveSI Phát Hành Mô Hình Ngôn Ngữ Flint 40B A2.5B Trên Hugging Face
RecursiveSI đã phát hành một mô hình ngôn ngữ mã nguồn mở có trọng số mới mang tên 'flint' (40B A2.5B) trên nền tảng Hugging Face. Thông báo này được chia sẻ với cộng đồng qua Reddit bởi người dùng /u/coder543. Bản phát hành này bổ sung thêm một lựa chọn vào hệ sinh thái ngày càng phát triển của các mô hình nguồn mở dành cho các nhà nghiên cứu và thực hành AI cục bộ. Các mô hình như vậy cho phép các nhà phát triển thử nghiệm và triển khai mô hình ngôn ngữ trên thiết bị của riêng họ mà không phụ thuộc vào các API đám mây độc quyền. Mô hình được ký hiệu là '40B A2.5B', ngụ ý cấu hình hoặc tỷ lệ tham số theo kiểu Hỗn hợp Chuyên gia (MoE), trong đó số tham số hoạt động trên mỗi token khác với tổng số tham số. Tuy nhiên, bản phát hành ban đầu vẫn thiếu tài liệu kỹ thuật chi tiết, các bài kiểm tra đánh giá (benchmark) hoặc bảng phân tích tham số cụ thể trong ngữ cảnh được cung cấp.
## KIẾN THỨC NỀN
Mixture-of-Experts (MoE) là một kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con các nhánh hoặc 'chuyên gia' được kích hoạt cho mỗi đầu vào cụ thể, cho phép mô hình mở rộng tổng số tham số nhưng vẫn giữ chi phí tính toán ở mức có thể quản lý được. Các mô hình mở lưu trữ trên Hugging Face được cộng đồng LocalLLaMA sử dụng rộng rãi để chạy các mô hình ngôn ngữ lớn trên phần cứng tiêu dùng hoặc phần cứng doanh nghiệp.