Mobilint ra mắt bộ tăng tốc Edge AI USB MLD-R1 với sức mạnh tính toán 10TOPS
Công ty khởi nghiệp NPU Hàn Quốc Mobilint đã ra mắt MLD-R1, một thiết bị tăng tốc Edge AI dạng cắm USB được trang bị chip REGULUS AI SoC của hãng. Thiết bị này cung cấp hiệu năng tính toán INT8 đạt 10TOPS trong khi chỉ tiêu thụ mức công suất thiết kế nhiệt (TDP) cực thấp là 3W. Sự ra mắt này cung cấp cho các nhà phát triển biên một tùy chọn phần cứng di động, tiêu thụ điện năng thấp để chạy các mô hình AI cục bộ mà không cần phụ thuộc vào hạ tầng đám mây. Khả năng tương thích rộng rãi của nó với các khung AI lớn và kiến trúc CPU máy chủ giúp việc tích hợp vào các hệ thống hiện có như máy bay không người lái và thiết bị an ninh trở nên dễ dàng hơn. MLD-R1 được trang bị CPU Arm Cortex-A53 4 nhân, bộ nhớ LPDDR4X lên đến 8GB và giao diện USB 5Gbps. Thiết bị được thiết kế để hoạt động liên tục 24/7 với chuẩn kháng bụi nước IP65, đồng thời hỗ trợ các khung làm việc phổ biến như PyTorch, TensorFlow và ONNX.
## KIẾN THỨC NỀN
Bộ tăng tốc Edge AI là các thành phần phần cứng chuyên dụng được thiết kế để chạy các mô hình học máy trực tiếp trên các thiết bị cục bộ thay vì trên các trung tâm dữ liệu tập trung. Việc sử dụng các định dạng độ chính xác thấp như INT8 (số nguyên 8-bit) cho phép các chip này thực hiện các tác vụ suy luận nhanh hơn nhiều và tiêu thụ ít năng lượng hơn đáng kể.