Bản rò rỉ hé lộ Qwen4-27B sở hữu kiến trúc dòng phần dư song song 4 chiều

Một pull request bị rò rỉ trên GitHub thuộc kho lưu trữ vllm-xpu-kernels cho thấy mô hình Qwen4-27B sắp ra mắt sử dụng kiến trúc dòng phần dư song song 4 chiều. Thiết kế này chia luồng phần dư đơn truyền thống thành bốn dòng song song đồng thời nhằm tối ưu hóa hiệu năng trong hạn mức tham số cố định. Sự thay đổi kiến trúc này nhằm cải thiện đáng kể luồng thông tin, mật độ biểu diễn và độ sâu hiệu dụng trong một mô hình 27 tỷ tham số. Nếu chứng minh được hiệu quả, nó có thể mang lại bước nhảy vọt lớn về hiệu năng trong khả năng suy luận nhiều bước, lập trình và tính nhất quán logic đối với các mô hình ngôn ngữ lớn cỡ trung. Thông tin rò rỉ được phát hiện thông qua một pull request trong kho vllm-xpu-kernels nhưng đã nhanh chóng bị gỡ bỏ và hiện trả về lỗi 404. Các nhà quan sát lưu ý rằng cấu trúc song song này giúp tối đa hóa hiệu năng trên mỗi tham số, có khả năng vượt trội hơn các cách tiếp cận truyền thống đối với các mô hình có kích thước này.