Mô hình ngôn ngữ khuếch tán vòng lặp ALoDLM 8b đạt tốc độ tăng gấp 3 lần

ALoDLM 8b là một mô hình ngôn ngữ khuếch tán vòng lặp mới, đạt tốc độ suy luận nhanh hơn khoảng 3 lần so với mô hình cơ sở Qwen3-8b của nó. Bên cạnh đó, mô hình này ghi nhận điểm số trên các bài kiểm tra chuẩn cao hơn so với kiến trúc cơ sở ban đầu. Sự phát triển này đại diện cho một bước đột phá lớn về hiệu suất và hiệu quả đối với AI nguồn mở bằng cách vượt qua các nút thắt tạo sinh tự hồi quy truyền thống. Nó chứng minh rằng các mô hình ngôn ngữ dựa trên khuếch tán có thể vượt trội hơn các kiến trúc thông thường về cả tốc độ lẫn chất lượng. Mô hình tận dụng kiến trúc khuếch tán vòng lặp, lặp lại có chọn lọc các lớp transformer cụ thể để cải thiện hiệu quả huấn luyện và tốc độ tạo sinh. Cách tiếp cận này định nghĩa lại cách các chuỗi văn bản được tinh chỉnh, cung cấp một giải pháp thay thế cho việc dự đoán token tiếp theo tiêu chuẩn.