Huawei nhận định băng thông mạng là nút thắt cổ chai lớn nhất của AI thay vì tiến trình chip đơn
Huawei tuyên bố rằng năng lực truyền tải mạng, chứ không phải tiến trình sản xuất chip đơn, mới là nút thắt cổ chai chính đối với tính toán AI trong bối cảnh lượng tiêu thụ token tăng gấp sáu lần trong nửa năm qua. Công ty đang thúc đẩy kiến trúc tích hợp tính toán - lưu trữ - mạng để vượt qua các giới hạn phần cứng. Sự chuyển dịch chiến lược này nhấn mạnh tầm quan trọng của việc tích hợp cấp hệ thống và mạng hiệu năng cao trong việc mở rộng quy mô xử lý AI, đặc biệt đối với các công ty đang đối mặt với hạn chế về sản xuất bán dẫn. Nó chuyển trọng tâm cạnh tranh hạ tầng AI từ hiệu năng chip đơn lẻ sang hiệu suất của toàn bộ cụm máy chủ. Huawei cho biết đã tăng băng thông công nghệ quang học đóng gói gần (NPO) lên hơn 8 lần, giúp tăng hiệu suất tạo token gấp 5 lần. Công ty đang tận dụng mạng trung tâm dữ liệu Xinghe AI và các siêu nút (Supernode) Ascend để giảm thiểu độ trễ truyền thông phân tán trên cả lớp phần cứng và phần mềm.
## KIẾN THỨC NỀN
Khi các mô hình AI mở rộng quy mô, việc huấn luyện và suy luận đòi hỏi sự trao đổi dữ liệu khổng lồ giữa hàng nghìn chip, khiến băng thông mạng và độ trễ trở nên cực kỳ quan trọng. Các công nghệ như quang học đóng gói gần (NPO) đặt các thành phần quang học gần hơn với chip ASIC chuyển mạch để tăng băng thông, trong khi các kiến trúc như siêu nút (Supernode) Ascend của Huawei liên kết nhiều bộ xử lý AI để hoạt động như một hệ thống hiệu năng cao thống nhất.