Cộng đồng thảo luận về triển vọng của Qwen 4, suy luận mở rộng và kiến trúc Engram
Một thảo luận trên Reddit nhấn mạnh cách các phương pháp suy luận mở rộng, post-training và kiến trúc bộ nhớ điều kiện như "engram" có thể mang lại bước tiến lớn về hiệu suất cho các mô hình mã nguồn mở sắp tới như Qwen 4. Khi sự phát triển AI chuyển hướng từ việc đơn thuần tăng số lượng tham số sang tối ưu hóa tính toán lúc suy luận và hiệu quả bộ nhớ, các chiến lược kiến trúc này có thể giúp mô hình mã nguồn mở nhỏ hơn đạt hoặc vượt hiệu suất của các mô hình đóng hàng nghìn tỷ tham số trên một số tác vụ chuyên biệt. Giả thuyết này nhấn mạnh rằng việc tận dụng hạn ngạch token cao hơn trong quá trình post-training kết hợp với cơ chế tra cứu bộ nhớ O(1) cho phép các mô hình đạt khả năng suy luận vượt trội mà không cần số lượng tham số quá lớn.
## KIẾN THỨC NỀN
Post-training bao gồm các kỹ thuật như học tăng cường (RL) và tinh chỉnh được áp dụng sau giai đoạn tiền huấn luyện ban đầu nhằm tăng cường khả năng suy luận. Trong khi đó, kiến trúc Engram giới thiệu bộ nhớ tĩnh điều kiện thông qua việc tra cứu N-gram để tách biệt truy xuất bộ nhớ khỏi quá trình suy luận thần kinh động, giúp giảm chi phí tính toán khi suy luận.