Phát hành mã nguồn mở GLM-5.3-Flash với kiến trúc chú ý lai Sparse-Linear

Z.ai đã phát hành GLM-5.3-Flash (trước đây gọi là ox-alpha), một mô hình đa phương thức bản địa mã nguồn mở với 320 tỷ tham số, sở hữu kiến trúc chú ý lai sparse-linear mới. Mô hình này được huấn luyện trên tập dữ liệu đa phương thức 30 nghìn tỷ token và được cho là vượt trội hơn GLM-5.2 với chi phí vận hành chỉ bằng một phần mười. Bản phát hành này giới thiệu các cải tiến kiến trúc tiên tiến như Kimi Delta Attention (KDA) và Manifold-Constrained Hyper-Connections (mHC) tới cộng đồng mã nguồn mở, giúp giảm đáng kể chi phí vận hành ngữ cảnh dài và dung lượng KV cache. Nó chứng minh rằng các mô hình đa phương thức quy mô lớn, hiệu quả cao có thể hoạt động tiết kiệm chi phí trong khi vẫn đạt hiệu năng tiệm cận các mô hình thương mại trong các tác vụ lập trình và tác nhân (agentic). Mô hình sử dụng cấu trúc 45 lớp lặp lại các khối gồm ba lớp chú ý tuyến tính KDA tiếp nối bởi một lớp chú ý thưa kiểu DeepSeek, kích hoạt 18 tỷ trong tổng số 320 tỷ tham số thông qua thiết kế hỗn hợp chuyên gia (MoE). Nó hỗ trợ chiều dài ngữ cảnh lên tới 1.048.576 token, đi kèm đầu dự đoán đa token (MTP) để giải mã suy đoán và được tối ưu hóa cho suy luận FP8.