Các mô hình Qwen4 sắp ra mắt bị rò rỉ với cửa sổ ngữ cảnh 1 triệu token
Các mô hình ngôn ngữ lớn Qwen4 sắp ra mắt được cho là sẽ sở hữu cửa sổ ngữ cảnh lên tới 1 triệu token, theo các yêu cầu kéo (pull request) trên GitHub và thông báo từ các hội nghị sắp tới. Các chi tiết phát hành cũng hé lộ về các cột mốc trong tương lai, bao gồm cả biến thể Qwen4-max. Cửa sổ ngữ cảnh 1 triệu token giúp mở rộng đáng kể khả năng xử lý lượng dữ liệu khổng lồ của mô hình, chẳng hạn như toàn bộ mã nguồn hoặc sách, chỉ trong một câu lệnh duy nhất. Khả năng này thúc đẩy cuộc cạnh tranh trong hệ sinh thái AI khi các phòng thí nghiệm hàng đầu chạy đua cung cấp chiều dài ngữ cảnh cực lớn. Thông tin rò rỉ xuất phát từ các yêu cầu kéo trên kho lưu trữ GitHub của Qwen và lịch trình sự kiện đề cập đến các thông báo sắp tới như Qwen4-max. Tuy nhiên, các mốc thời gian cụ thể được nhắc tới trong các bản rò rỉ có thể chỉ là dạng ngày tạm tính (placeholder).
## KIẾN THỨC NỀN
Cửa sổ ngữ cảnh đề cập đến lượng văn bản tối đa, được đo bằng đơn vị token, mà một mô hình ngôn ngữ lớn có thể xử lý và lưu giữ trong bộ nhớ tại một thời điểm nhất định. Qwen là dòng mô hình ngôn ngữ lớn có trọng số mở do Alibaba phát triển, nổi tiếng với hiệu suất cạnh tranh trên nhiều tiêu chuẩn đánh giá AI.