Acrab ra mắt SoC AI biên GΞLIX 1 hỗ trợ chạy cục bộ mô hình 100B

Công ty khởi nghiệp Acrab đã chính thức ra mắt con chip đầu tiên của mình mang tên GΞLIX 1, một SoC AI biên với thiết kế dị thể trên tiến trình 5nm, hỗ trợ chạy cục bộ các mô hình ngôn ngữ lớn lên tới 100 tỷ tham số. Con chip này cho phép thực thi cục bộ các mô hình AI khổng lồ trên các thiết bị biên với hiệu suất cao và độ trễ thấp, giảm sự phụ thuộc vào điện toán đám mây và tăng cường quyền riêng tư. Cơ chế attention được tăng tốc bằng phần cứng của nó giải quyết các nút thắt cổ chai chính trong suy luận LLM, có khả năng thay đổi cách triển khai các tác nhân AI. GΞLIX 1 sở hữu CPU Arm 20 nhân, GPU 3TFLOPS, NPU cung cấp hiệu suất tính toán AI 650TOPS và bộ nhớ chia sẻ LPDDR5X 256-bit. Chip đạt tốc độ prefill 1.416,8 token/giây trên cấu hình Gemma 26B, nhanh gấp 7,5 lần so với Mac Mini trang bị chip M4 Pro của Apple.