Moore Threads phát hành sách trắng Prefill-as-a-Service cho GPU MTT S5000
Moore Threads đã phát hành sách trắng kỹ thuật giới thiệu mô hình "Prefill-as-a-Service" trên dòng GPU MTT S5000 của hãng. Phương pháp này tách biệt hai giai đoạn prefill (tiền xử lý) và decode (giải mã) trong quá trình suy luận LLM nhằm giải quyết các nút thắt về chi phí và độ trễ trong các kịch bản ngữ cảnh dài. Khi cửa sổ ngữ cảnh của LLM mở rộng lên tới 1 triệu token, các phương pháp suy luận truyền thống gây lãng phí tài nguyên nghiêm trọng do sự khác biệt về yêu cầu phần cứng giữa giai đoạn prefill và decode. Việc triển khai kiến trúc suy luận tách biệt trên phần cứng GPU nội địa Trung Quốc như MTT S5000 là một bước tiến quan trọng giúp tối ưu hóa hạ tầng AI trong nước và giảm tổng chi phí sở hữu (TCO). Kiến trúc này chia quá trình suy luận thành một nhóm Prefill giới hạn bởi hiệu năng tính toán để tối ưu hóa thời gian phản hồi token đầu tiên (TTFT), và một nhóm Decode giới hạn bởi băng thông bộ nhớ để tối ưu hóa độ trễ giữa các token (ITL). Sự phân tách ở cấp độ phần cứng này giúp ngăn các đơn vị tính toán bị bỏ trống trong giai đoạn decode và tránh nghẽn băng thông bộ nhớ trong giai đoạn prefill.
## KIẾN THỨC NỀN
Quá trình suy luận của Mô hình ngôn ngữ lớn (LLM) gồm hai giai đoạn chính: prefill (xử lý prompt đầu vào và tạo KV cache) và decode (tạo các token tiếp theo theo từng bước). Giai đoạn prefill là tác vụ thâm dụng tính toán bị giới hạn bởi hiệu năng dấu phẩy động, trong khi decode là tác vụ thâm dụng bộ nhớ bị giới hạn bởi băng thông bộ nhớ. Việc chạy cả hai giai đoạn trên cùng một GPU thường dẫn đến hiệu suất sử dụng tài nguyên kém hiệu quả do phần cứng không thể tối ưu hóa đồng thời cho cả hai tác vụ.