vLLM v0.31.0 Tối Ưu Cho Mô Hình DeepSeek Và Hỗ Trợ Kiến Trúc NVIDIA Blackwell
vLLM v0.31.0 ra mắt mang đến nhiều cải tiến hiệu năng lớn cho các mô hình DeepSeek, hỗ trợ kiến trúc GPU NVIDIA Blackwell (SM100/SM103) với định dạng định lượng MXFP8 và NVFP4, cùng công cụ `vllm preload` giúp khởi động lại engine nhanh chóng. Bản phát hành bao gồm 717 commit từ 307 người đóng góp, mặc định tích hợp FlashMLA mega attention, thư viện DeepGEMM và backend MoonEP phục vụ quy mô lớn. Vì vLLM là một trong những thư viện phục vụ LLM mã nguồn mở phổ biến nhất, những cải tiến về phần cứng và kernel này giúp giảm đáng kể độ trễ và chi phí vận hành các mô hình MoE tiên tiến trên hạ tầng AI thế hệ mới. Điều này thúc đẩy việc triển khai rộng rãi các định dạng độ chính xác thấp như FP4 và MXFP8 trên phần cứng doanh nghiệp. Cập nhật này mang đến tính năng dung hợp ranh giới lớp động cho các mô hình DeepSeek, lập lịch bất đồng bộ cho giải mã suy đoán trong Model Runner V2 và cải thiện cơ chế kiểm soát lập lịch bộ nhớ đệm KV để tránh bế tắc bộ nhớ. Phiên bản này cũng có một số thay đổi phá vỡ tương thích, chẳng hạn như chặn kwargs đa thức theo từng yêu cầu và thay thế các tùy chọn định lượng online bằng các cú pháp ngắn gọn như `fp8_per_tensor`.
## KIẾN THỨC NỀN
vLLM là một engine suy luận mã nguồn mở được thiết kế để phục vụ LLM hiệu quả nhờ các kỹ thuật quản lý bộ nhớ như PagedAttention. NVIDIA Blackwell (SM100/SM103) là kiến trúc GPU của NVIDIA hỗ trợ phần cứng cho các định dạng dữ liệu vi tỷ lệ (MX) và số thực chấm động 4-bit (NVFP4). Trong khi đó, FlashMLA và DeepGEMM là các thư viện kernel mã nguồn mở do DeepSeek phát triển nhằm tối ưu hóa cơ chế chú ý Multi-head Latent Attention và phép nhân ma trận độ chính xác thấp cho các kiến trúc Mixture-of-Experts (MoE).