AMD ra mắt máy trạm Threadripper Halo Station hỗ trợ chạy mô hình AI 1.000 tỷ tham số cục bộ
AMD đã công bố Threadripper Halo Station, một máy trạm làm mát bằng chất lỏng được trang bị bộ xử lý 96 nhân Ryzen Threadripper PRO và hai cạc gia tốc AI Instinct MI350P. Được thiết kế như một siêu máy tính cá nhân, hệ thống hỗ trợ 2TB bộ nhớ hệ thống và có khả năng chạy cục bộ các mô hình AI có quy mô trên 1.000 tỷ tham số. Máy trạm này mang năng lực phần cứng cấp trung tâm dữ liệu trực tiếp đến môi trường làm việc của nhà phát triển, giúp giảm sự phụ thuộc vào hạ tầng đám mây khi xử lý các mô hình AI siêu lớn. Điều này thể hiện chiến lược của AMD trong việc đáp ứng nhu cầu suy luận và tinh chỉnh LLM cục bộ của doanh nghiệp bằng phần cứng sử dụng bộ nhớ băng thông cao. Tất cả các linh kiện tính toán cốt lõi trong máy trạm đều sử dụng tản nhiệt chất lỏng để duy trì hiệu năng tối ưu. Các phiên bản tương lai của hệ thống sẽ hỗ trợ tối đa bốn cạc Instinct MI350P, nâng tổng dung lượng bộ nhớ HBM3E kết hợp lên đến 576GB.
## KIẾN THỨC NỀN
Việc vận hành các mô hình ngôn ngữ lớn (LLM) có hàng trăm tỷ đến hàng nghìn tỷ tham số đòi hỏi cả dung lượng bộ nhớ khổng lồ lẫn băng thông siêu cao để truyền dữ liệu nhanh chóng vào các nhân xử lý. Bộ nhớ băng thông cao HBM3E cung cấp tốc độ truy xuất hàng terabyte mỗi giây cần thiết cho quá trình suy luận AI độ trễ thấp, điều trước đây vốn yêu cầu các cụm máy chủ trung tâm dữ liệu quy mô lớn.