~/AI HARDWARE/meta-reportedly-customizes-amd-mi450-gpu-for-recommendation-systems

Meta Tùy Biến GPU AMD MI450 Cắt Giảm Nhân Tính Toán Cho Hệ Thống Gợi Ý

Meta được cho là đang tùy biến GPU kiến trúc MI450 sắp tới của AMD, giảm xuống còn một nửa số nhân tính toán và một phần ba dung lượng bộ nhớ so với bản MI455 tiêu chuẩn. Thiết kế tùy chỉnh này sở hữu bốn chiplet tính toán và sáu chip nhớ HBM4 thay vì tám chiplet và mười hai chip nhớ như bản tiêu chuẩn. Sự tùy biến này làm nổi bật xu hướng các nhà cung cấp dịch vụ đám mây quy mô lớn (hyperscaler) tự thiết kế phần cứng cho các tác vụ chuyên biệt, tối ưu hóa cho hệ thống gợi ý (RecSys) thay vì các mô hình ngôn ngữ lớn (LLM). Bằng cách điều chỉnh tỷ lệ tính toán giữa CPU và GPU cùng băng thông bộ nhớ, Meta đặt mục tiêu nâng cao hiệu quả chi phí cho các tác vụ gợi ý khổng lồ của mình. Phiên bản Instinct MI455 tiêu chuẩn sở hữu tám chiplet tính toán sản xuất trên tiến trình TSMC N2 và 432GB bộ nhớ HBM4, trong khi phiên bản của Meta giảm xuống còn bốn chiplet tính toán và 144GB bộ nhớ HBM4. Mặc dù cấu hình này cải thiện hiệu suất cho các thuật toán gợi ý, nó lại kém tối ưu hơn cho việc huấn luyện và suy luận LLM.

## KIẾN THỨC NỀN

Hệ thống gợi ý (RecSys) và các Mô hình Ngôn ngữ Lớn (LLM) có các yêu cầu phần cứng khác biệt cơ bản. Trong khi LLM đòi hỏi sức mạnh tính toán và dung lượng bộ nhớ khổng lồ để xử lý các mô hình transformer dày đặc, hệ thống gợi ý thường dựa vào các bảng nhúng thưa (sparse embedding tables) quy mô lớn, đòi hỏi băng thông bộ nhớ cao và sự giao tiếp cân bằng giữa CPU và GPU hơn là sức mạnh tính toán thuần túy của GPU. Dòng sản phẩm AMD Instinct MI400, sử dụng bộ nhớ HBM4 thế hệ mới, đóng vai trò là nền tảng cho các tác vụ AI hiệu năng cao này.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI Hardware#AMD Instinct#Meta#GPU Architecture#Recommendation Systems

$ subscribe --daily