AMD và Spectro Cloud ra mắt nền tảng AI doanh nghiệp Instinct Coder 355
AMD và Spectro Cloud vừa ra mắt Instinct Coder 355, một nền tảng lập trình hỗ trợ AI cấp doanh nghiệp được trang bị 8 GPU AMD Instinct MI355X nhằm triển khai cục bộ các mô hình tiên tiến như GLM-5.3. Nền tảng này đạt hiệu năng tương đương 98% so với các mô hình tiên tiến trên đám mây ngay tại hệ thống nội bộ. Việc ra mắt này đánh dấu bước tiến quan trọng của AMD khi gia nhập thị trường phần cứng và phần mềm lập trình hỗ trợ AI dành cho doanh nghiệp với giải pháp triển khai tại chỗ mạnh mẽ. Bằng cách xử lý khối lượng công việc cục bộ thông qua phần mềm quản lý của Spectro Cloud, các doanh nghiệp có được giải pháp trọn gói giúp nâng cao quyền riêng tư dữ liệu đồng thời giảm sự phụ thuộc vào API đám mây bên ngoài. Hệ thống bao gồm hai CPU EPYC 9575F Zen 5 64 nhân, bộ nhớ RDIMM DDR5-6400 dung lượng 3TB và tổng dung lượng lưu trữ SSD lên tới 63.36TB, với các cấu hình riêng biệt từ Dell và Supermicro. Mỗi node hỗ trợ tối đa 85 nhà phát triển với 50 người dùng đồng thời, được quản lý bởi phần mềm PaletteAI Inference Launchpad của Spectro Cloud.
## KIẾN THỨC NỀN
Các bộ tăng tốc AMD Instinct, như dòng MI355X, là các đơn vị phần cứng chuyên dụng được thiết kế cho khối lượng công việc AI tại trung tâm dữ liệu hiệu năng cao, sử dụng kiến trúc tiên tiến để tăng tốc học sâu và suy luận mô hình ngôn ngữ lớn. Spectro Cloud PaletteAI đóng vai trò là lớp quản lý hạ tầng tập trung kết nối phần cứng và phần mềm phức tạp, giúp các doanh nghiệp chịu sự quản lý ngặt nghèo dễ dàng triển khai và quản lý máy ảo, Kubernetes cùng các khối lượng công việc AI ở quy mô lớn.