Phát hiện mã nguồn kéo hé lộ về mô hình Qwen4-27B sắp ra mắt
Một mã nguồn kéo (pull request) được phát hiện trong một kho lưu trữ liên quan đến vLLM đã tiết lộ các tham chiếu kỹ thuật ban đầu về mô hình ngôn ngữ Qwen4-27B sắp ra mắt. Những thay đổi mã nguồn này hé lộ quá trình phát triển đang diễn ra và cung cấp manh mối ban đầu về kiến trúc của mô hình được mong đợi này. Phát hiện này báo hiệu rằng Alibaba đang tích cực phát triển dòng mô hình mã nguồn mở phổ biến của họ, tạo sự phấn khích trong cộng đồng LLM cá nhân. Việc nắm bắt các mô hình sắp ra mắt giúp các nhà phát triển và nghiên cứu chuẩn bị cơ sở hạ tầng cũng như chiến lược tối ưu hóa cho các đợt triển khai trong tương lai. Mã nguồn kéo này được tìm thấy trong một kho lưu trữ tích hợp vLLM và hàm ý rằng kích thước bộ nhớ đệm KV (KV cache) của Qwen4-27B không giảm đi. Ngoài ra, tác giả của mã nguồn này trước đây từng đóng góp cho các dự án Qwen và có mối liên hệ với nghiên cứu tổ chức.
## KIẾN THỨC NỀN
vLLM là một khung phần mềm mã nguồn mở dùng để suy luận và phục vụ các mô hình ngôn ngữ lớn, tận dụng các kỹ thuật tối ưu hóa như PagedAttention để quản lý bộ nhớ hiệu quả. Bộ nhớ đệm KV (Key-Value cache) là một kỹ thuật tối ưu hóa trong các mạng nơ-ron dựa trên kiến trúc transformer, giúp lưu trữ các véc-tơ trung gian từ các token đầu vào trước đó trong quá trình suy luận nhằm tránh tính toán dư thừa.