Mô hình Mixture of Experts 7.9B mới phục vụ sử dụng công cụ và tự động hóa
Một mô hình Mixture of Experts (MoE) mới với 7,9 tỷ tham số vừa được giới thiệu, chỉ yêu cầu 1,3 tỷ tham số hoạt động cho mỗi token. Mô hình này được thiết kế để sử dụng công cụ và kiểm soát môi trường tự động, hiện đang được cung cấp miễn phí trong bảy ngày. Sự phát triển này làm nổi bật xu hướng tạo ra các mô hình nhỏ hơn, hiệu quả cao có thể chạy cục bộ trong khi vẫn thực hiện được các tác vụ phức tạp như sử dụng công cụ. Bằng cách chỉ kích hoạt một phần nhỏ tham số, nó giảm đáng kể yêu cầu tính toán mà không làm giảm khả năng xử lý. Mô hình tận dụng kiến trúc MoE thưa (sparse MoE) để tối ưu hóa tốc độ suy luận và mức tiêu thụ tài nguyên. Nó tập trung cụ thể vào việc thu hẹp khoảng cách giữa tạo văn bản và thực thi hành động thông qua kiểm soát môi trường tự động.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kỹ thuật học máy chia mô hình thành các mạng con chuyên biệt, chỉ kích hoạt các "chuyên gia" liên quan cho một đầu vào nhất định để tiết kiệm tài nguyên tính toán. Sử dụng công cụ (tool use), hay gọi hàm (function calling), là khả năng cho phép các mô hình ngôn ngữ tương tác với các hệ thống bên ngoài bằng cách tạo ra các hướng dẫn có cấu trúc cho API hoặc tập lệnh thay vì chỉ tạo văn bản đơn thuần.