CEO Zhipu AI Jie Tang thảo luận về GLM 5.3 và định luật mở rộng sau huấn luyện

CEO của Zhipu AI, Jie Tang, đã thảo luận về việc ra mắt GLM 5.3, mô hình Mixture of Experts (MoE) hàng đầu với cửa sổ ngữ cảnh 1 triệu token, đồng thời nhấn mạnh sự chuyển dịch trong phát triển AI. Ông chỉ ra rằng ngành công nghiệp đang chuyển hướng từ việc mở rộng tham số tiền huấn luyện truyền thống sang các định luật mở rộng sau huấn luyện (post-training scaling laws). Sự chuyển dịch này cho thấy kích thước mô hình thuần túy (số lượng tham số) không còn là thước đo duy nhất cho sự tiến bộ của AI, khi các kỹ thuật sau huấn luyện như học tăng cường và suy luận tại thời điểm chạy (inference-time reasoning) mang lại hiệu quả và khả năng tốt hơn. Điều này báo hiệu một giai đoạn mới trong tối ưu hóa hạ tầng AI, nơi tài nguyên tính toán được phân bổ trong quá trình suy luận thay vì chỉ tập trung vào huấn luyện ban đầu. GLM 5.3 sở hữu cửa sổ ngữ cảnh lên tới 1 triệu token được thiết kế cho việc tạo văn bản nâng cao và suy luận chuyên sâu. Mô hình này tận dụng kiến trúc Mixture of Experts (MoE), xây dựng trên nền tảng của các mô hình GLM trước đó để tối ưu hóa hiệu năng.