Cerebras Triển Khai Qwen 3.8 27B Với Tốc Độ Suy Luận 1.500 Token/Giây

Cerebras đã triển khai mô hình ngôn ngữ mở Qwen 3.8 27B trên nền tảng phần cứng của mình, đạt tốc độ tạo văn bản đầu ra lên tới 1.500 token mỗi giây. Việc triển khai này cho thấy phần cứng AI chuyên dụng có thể vượt trội đáng kể so me với GPU truyền thống trong các tác vụ AI tạo sinh thời gian thực. Cung cấp các mô hình trọng số mở ở tốc độ cực nhanh giúp mang lại phản hồi gần như tức thì cho các quy trình làm việc phức tạp. Mặc dù tốc độ tạo token đầu ra đạt 1.500 token/giây, người dùng lưu ý rằng tốc độ đọc prompt ban đầu chỉ tương đương với các nhà cung cấp đám mây truyền thống. Ngoài ra, giới hạn token mỗi phút (TPM) nghiêm ngặt khiến các tác vụ khối lượng lớn có thể nhanh chóng làm cạn kệt hạn mức khả dụng.