Majestic Labs Ra Mắt Máy Chủ AI Prometheus Hỗ Trợ Bộ Nhớ LPDDR6 Lên Tới 128TB
Công ty khởi nghiệp Majestic Labs đã công bố "Prometheus", một máy chủ AI thay thế GPU truyền thống bằng các bộ xử lý Ignite AIU kết hợp nhân Arm và công cụ vector/tensor RISC-V. Máy chủ này hỗ trợ dung lượng bộ nhớ LPDDR6 thế hệ mới từ 8TB đến 128TB nhằm thách thức sự thống trị của GPU và bộ nhớ HBM từ Nvidia. Bằng cách sử dụng bộ nhớ LPDDR6 thay vì bộ nhớ băng thông cao (HBM) đắt đỏ và khan hiếm nguồn cung, Majestic đặt mục tiêu cung cấp dung lượng bộ nhớ khổng lồ với mức tiêu thụ điện năng thấp hơn. Kiến trúc này có thể mang lại một giải pháp thay thế tiết kiệm chi phí cho việc vận hành các mô hình ngôn ngữ lớn (LLM) vốn phụ thuộc rất nhiều vào băng thông và dung lượng bộ nhớ. Một máy chủ Prometheus đơn lẻ có thể chứa tối đa 12 bộ xử lý Ignite AIU, và một tủ rack 40U tiêu chuẩn có thể lắp đặt 4 máy chủ với tổng công suất tiêu thụ điện làm mát bằng chất lỏng là 120kW. Hệ thống này tuân thủ các tiêu chuẩn của Dự án Tính toán Mở (OCP) và hỗ trợ các khung phát triển AI phổ biến như PyTorch, vLLM và OpenAI Triton.
## KIẾN THỨC NỀN
Các tác vụ AI hiện đại, đặc biệt là các Mô hình Ngôn ngữ Lớn (LLM), đòi hỏi dung lượng và băng thông bộ nhớ cực lớn, thường được cung cấp bởi bộ nhớ băng thông cao (HBM) xếp chồng trực tiếp trên GPU. Tuy nhiên, HBM rất đắt đỏ và đang đối mặt với tình trạng khan hiếm nguồn cung nghiêm trọng, thúc đẩy các công ty khởi nghiệp phần cứng tìm kiếm các kiến trúc thay thế sử dụng bộ nhớ DDR tiết kiệm điện (LPDDR) và các bộ tăng tốc tùy chỉnh như RISC-V.