Sự tiến hóa và tính chất đa chiều của các định luật mở rộng LLM

Một phân tích về các định luật mở rộng LLM làm nổi bật sự chuyển dịch từ việc tăng số lượng tham số sang tỷ lệ tối ưu hóa tính toán, huấn luyện quá mức (over-training) tối ưu cho suy luận, và mở rộng sau huấn luyện (post-training), được chứng minh qua những cải tiến đáng kể của GLM-5.3 bằng học tăng cường mà không thay đổi kích thước mô hình. Việc hiểu rằng mở rộng là một quá trình đa chiều—bao gồm tham số, dữ liệu, tính toán và sau huấn luyện—giúp các nhà phát triển AI xây dựng các mô hình hiệu quả hơn, cân bằng giữa chi phí huấn luyện và các ràng buộc suy luận trong thực tế. Trong khi định luật ban đầu của Kaplan ưu tiên tăng tham số nhanh hơn dữ liệu, định luật Chinchilla của Hoffmann đã thiết lập tỷ lệ token trên tham số là 20:1, tỷ lệ mà các mô hình hiện đại như Gemma-2-9B thậm chí còn đẩy đi xa hơn (889:1) để tối ưu hóa chi phí suy luận. Ngoài ra, đối với các mô hình Mixture of Experts (MoE), khả năng lập luận mở rộng theo số lượng tham số được kích hoạt và quá trình RL sau huấn luyện thay vì tổng số lượng tham số.