SGLang v0.5.23 Phát Hành với Hỗ Trợ Mô Hình Mở Rộng và Cải Tiến Hiệu Suất Lớn

SGLang v0.5.23 đã được phát hành với sự đóng góp từ 257 lập trình viên, mang đến khả năng hỗ trợ nhiều mô hình LLM, VLM và khuếch tán (diffusion) mới cùng các tối ưu hóa hiệu suất đáng kể. Các cập nhật chính bao gồm chế độ thực thi độ trễ thấp thông qua megakernel, Paged Experts để chạy các mô hình MoE lớn trên GPU phổ thông, và hỗ trợ Google TPU. Những cải tiến hiệu suất và khả năng tương thích phần cứng mở rộng này giúp giảm đáng kể chi phí suy luận và độ trễ cho các mô hình ngôn ngữ lớn và đa phương thức trên nhiều nền tảng khác nhau. Điều này giúp việc phục vụ AI hiệu suất cao trở nên dễ tiếp cận hơn đối với cả hệ thống triển khai doanh nghiệp lẫn các môi trường bị hạn chế về phần cứng. Bản phát hành bổ sung hỗ trợ cho các mô hình như MiniCPM-V 4.7 và các tối ưu hóa cho DeepSeek-V4.1, mang lại mức tăng thông lượng gấp 1.5 lần và độ trễ token đầu tiên nhanh hơn. Người dùng có thể nâng cấp thông qua pip bằng lệnh `uv pip install --prerelease=allow sglang==0.5.23` hoặc sử dụng các container Docker có sẵn trên các nền tảng NVIDIA, AMD, Intel và Google TPU.