Microsoft AI phát triển mô hình Mixture-of-Experts MAI Code 1.1 Flash
Microsoft AI đã giới thiệu MAI Code 1.1 Flash, một mô hình hỗn hợp chuyên gia (mixture-of-experts) được tối ưu hóa cho việc lập trình với tổng cộng 137 tỷ tham số và 6,8 tỷ tham số hoạt động. Mô hình này là một phần của sáng kiến phát triển cục bộ được công bố cùng với các công cụ chạy vùng chứa an toàn trên Windows. Bản phát hành này cung cấp cho các nhà phát triển một mô hình AI cục bộ mạnh mẽ, chuyên biệt, giúp cân bằng giữa cơ sở kiến thức khổng lồ và tốc độ suy luận hiệu quả. Nó làm nổi bật xu hướng ngày càng tăng trong việc triển khai các trợ lý lập trình tiên tiến tại chỗ thay vì chỉ phụ thuộc vào dịch vụ đám mây. Mô hình này sử dụng kiến trúc Mixture-of-Experts, trong đó tổng số tham số lớn 137 tỷ giúp lưu giữ kiến thức rộng lớn, trong khi chỉ có 6,8 tỷ tham số hoạt động được sử dụng cho mỗi token để đảm bảo tốc độ thực thi nhanh chóng. Nó được thiết kế riêng cho các tác vụ tạo mã và phát triển phần mềm.
## KIẾN THỨC NỀN
Mixture-of-experts (MoE) là một kiến trúc mạng thần kinh chỉ kích hoạt một tập hợp con các tổng số tham số cho bất kỳ đầu vào nào, đạt được năng lực cao mà không chịu chi phí tính toán nặng nề như các mô hình dày đặc. Tổng số tham số đại diện cho toàn bộ dung lượng của mô hình trên tất cả các mạng chuyên gia, trong khi tham số hoạt động đề cập đến tập hợp con tham gia trong quá trình tạo một token duy nhất.