InclusionAI Ra Mắt LLaDA2.2-flash, Mô Hình Ngôn Ngữ Khuếch Tán Hướng Tác Vụ
inclusionAI đã phát hành LLaDA2.2-flash, một mô hình ngôn ngữ khuếch tán hướng tác vụ tích hợp kỹ thuật Chỉnh sửa Levenshtein (Levenshtein Editing) và Định tuyến Khối Hỗn hợp Chuyên gia (Block Routing MoE). Mô hình này được thiết kế để hỗ trợ hiệu quả các tác vụ agentic có ngữ cảnh dài lên tới 128K và khả năng tự sửa lỗi mạnh mẽ. Bản phát hành này đánh dấu một bước tiến quan trọng trong nghiên cứu LLM không tự hồi quy (non-autoregressive) bằng cách cho phép các mô hình khuếch tán xử lý các tương tác nhiều lượt và sử dụng công cụ phức tạp. Việc tích hợp Chỉnh sửa Levenshtein cho phép mô hình chỉnh sửa cấu trúc chuỗi một cách linh hoạt và sửa lỗi trong quá trình tạo song song. LLaDA2.2-flash sở hữu 100 tỷ tham số (không tính embedding), cửa sổ ngữ cảnh 128K token, và sử dụng các token điều khiển DELETE và INSERT để chỉnh sửa chuỗi. Mô hình được huấn luyện bằng một khung học tăng cường mới mang tên Tối ưu hóa Chính sách cấp Khối dựa trên ELBO cho Chỉnh sửa Levenshtein (L-EBPO).
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ khuếch tán áp dụng các quy trình khuếch tán, vốn ban đầu được sử dụng cho việc tạo hình ảnh, để tạo văn bản. Trong khi các mô hình Hỗn hợp Chuyên gia (MoE) truyền thống định tuyến riêng lẻ từng token, Block Routing MoE định tuyến các chuyên gia một lần cho mỗi khối được giải mã để ngăn ngừa quá tải bộ nhớ trong các kiến trúc dựa trên khuếch tán.