Xiaomi ra mắt nguyên mẫu AI Cube với băng thông bộ nhớ 1,2TB/s
Xiaomi đã công bố nguyên mẫu "AI Cube", một hệ thống mini-PC ba chip được thiết kế để chạy các mô hình AI lớn cục bộ. Hệ thống này tích hợp các chip Xuanjie O3, Xuanjie O100 và Xuanjie D100, mang lại băng thông bộ nhớ lên tới 1,22TB/s và hỗ trợ RAM lên tới 160GB. Sự phát triển này đánh dấu bước tiến hướng tới tính toán biên hiệu năng cao, cho phép người dùng chạy các mô hình ngôn ngữ lớn (LLM) cục bộ mà không cần phụ thuộc vào hạ tầng đám mây. Băng thông bộ nhớ cực lớn và dung lượng RAM cao giải quyết các nút thắt cổ chai phần cứng chính đối với việc suy luận AI cục bộ. Chip Xuanjie O100 sử dụng tiến trình 6nm tiên tiến với công nghệ xếp chồng dọc cấp tấm silicon 3D (Wafer on Wafer) và công nghệ liên kết Hybrid Bonding để đạt được băng thông cao. Mặc dù chip D100 (ban đầu được thiết kế cho xe điện) hỗ trợ dung lượng RAM 160GB, kiến trúc chính xác kết hợp các vùng bộ nhớ này vẫn chưa được xác nhận.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn yêu cầu băng thông và dung lượng bộ nhớ đáng kể để hoạt động hiệu quả, vì các tham số mô hình phải được tải liên tục vào bộ nhớ trong quá trình suy luận. Phần cứng tiêu dùng truyền thống thường gặp khó khăn với các tác vụ này do giới hạn băng thông. Dòng chip Xuanjie của Xiaomi đại diện cho nỗ lực tự thiết kế chip của họ nhằm tối ưu hóa phần cứng riêng cho các tác vụ AI đòi hỏi khắt khe này.