Intel hỗ trợ Day 0 và triển khai đa GPU cho mô hình video MiniMax H3
Intel đã công bố hỗ trợ Day 0 và giải pháp triển khai đa GPU cho mô hình video đa phương thức mã nguồn mở MiniMax H3 trên GPU Intel Arc Pro B70. Giải pháp này tận dụng các tối ưu hóa song song hóa hỗn hợp và giải phóng bộ nhớ (offloading) để tăng tốc toàn bộ quy trình tạo video. Việc triển khai này thể hiện khả năng của GPU Intel Arc Pro trong việc xử lý các tác vụ AI tạo sinh đòi hỏi khắt khe, mang lại một giải pháp thay thế có khả năng mở rộng cho các tùy chọn phần cứng phổ biến. Nó cũng chứng minh cách các kỹ thuật tính toán song song tiên tiến có thể vượt qua giới hạn bộ nhớ phần cứng đối với các mô hình video quy mô lớn. Giải pháp triển khai sử dụng Song song hóa Tensor (TP) 8 card cho bộ mã hóa văn bản, Song song hóa chuỗi Ulysses (USP) 8 card kết hợp giải phóng bộ nhớ theo từng lớp cho Diffusion Transformer (DiT), và sơ đồ hỗn hợp 2TP×4USP để cân bằng giữa tính toán và chi phí truyền thông. Ngoài ra, các toán tử chính như nhân ma trận và cơ chế chú ý (attention) đã được tối ưu hóa bằng dự án llm-scaler-omni của Intel.
## KIẾN THỨC NỀN
MiniMax H3 là một mô hình đa phương thức trọng số mở có khả năng tạo video độ phân giải 2K kèm âm thanh nổi từ các đầu vào văn bản, hình ảnh và âm thanh. Song song hóa chuỗi Ulysses (USP) là một phương pháp tính toán song song giúp chia nhỏ chiều chuỗi của các mô hình transformer trên nhiều GPU để xử lý các đầu vào ngữ cảnh dài một cách hiệu quả.