Baidu công bố siêu nút 1024 card Thiên Trì hỗ trợ mô hình nghìn tỷ tham số
Baidu đã công bố siêu nút 1024 card Thiên Trì tại hội nghị Baidu World 2026, dự kiến ra mắt thị trường vào năm tới và hỗ trợ huấn luyện các mô hình có quy mô lên tới 5 nghìn tỷ tham số. Bước tiến này thể hiện một bước nhảy vọt trong cơ sở hạ tầng phần cứng AI, giúp cải thiện đáng kể hiệu suất huấn luyện cấp độ cụm và suy luận ngữ cảnh dài cho các mô hình ngôn ngữ lớn.
## KIẾN THỨC NỀN
KV Cache là một kỹ thuật tối ưu hóa cốt lõi trong các mô hình dựa trên kiến trúc Transformer nhằm lưu trữ các vectơ khóa-giá trị đã tính toán trước đó để tránh các phép tính lặp lại trong quá trình sinh văn bản tự hồi quy. TTFT (Time To First Token) đo lường khoảng thời gian chờ đợi từ khi gửi câu lệnh (prompt) đến khi nhận được phản hồi ký tự đầu tiên, đóng vai trò là một chỉ số quan trọng đánh giá trải nghiệm người dùng trong AI hội thoại.