DeepSeek chính thức mã nguồn mở khung suy luận nội bộ DeepInfer nhằm giảm chi phí AI
DeepSeek đã chính thức mã nguồn mở hoàn toàn khung suy luận nội bộ DeepInfer, đi kèm với thành phần mã hóa token deepseek-recipe nhằm giúp giảm chi phí phục vụ mô hình ngôn ngữ lớn quy mô lớn. Khung phần mềm này cung cấp năng lượng cho các mô hình triển khai có thông lượng cao, độ trễ thấp như DeepSeek V4.1 Flash và hỗ trợ cả nền tảng NVIDIA lẫn Huawei Ascend. Bằng cách chia sẻ côngengine suy luận cấp độ sản xuất của mình, DeepSeek nhằm mục đích tối ưu hóa thông lượng và độ trễ cho các nhà phát triển và doanh nghiệp, qua đó giảm đáng kể chi phí tính toán và năng lượng. Bước đi này thúc đẩy khả năng tiếp cận AI rộng rãi hơn và dân chủ hóa việc triển khai mô hình quy mô lớn trên toàn ngành. DeepInfer tích hợp các toán tử hiệu năng cao và hỗ trợ suy luận phân tán, giải mã dự đoán (speculative decoding), SWA Bounded Replay và đầu ra có cấu trúc. Thêm vào đó, nó đảm bảo khả năng tương thích API với các bản triển khai chính thức thông qua thành phần mã nguồn mở deepseek-recipe.
## KIẾN THỨC NỀN
Quá trình suy luận của mô hình ngôn ngữ lớn là giai đoạn mô hình đã được huấn luyện xử lý đầu vào và tạo ra đầu ra cho người dùng, tiêu tốn lượng lớn sức mạnh tính toán và cụm năng lượng. Các khung phần mềm nằm giữa phần cứng và mô hình quyết định mức độ hiệu quả trong việc quản lý các tài nguyên tính toán này, ảnh hưởng trực tiếp đến tổng chi phí dịch vụ.