~/EDGE AI/mirage-a-22-mb-visual-language-model-for-edge-devices

Mirage: Mô hình ngôn ngữ thị giác 22 MB dành cho thiết bị biên

Cactus Compute đã phát hành Mirage, một mô hình ngôn ngữ thị giác 22 MB với 51,3 triệu tham số, có khả năng thực hiện mô tả cảnh, phát hiện đối tượng, OCR, phân đoạn và phân tích không gian chỉ trong một lần chạy. Mô hình đạt tốc độ suy luận 74 ms trên NPU và 107 ms trên CPU của Samsung Galaxy S26. Bản phát hành này chứng minh cách trí tuệ đa phương thức phức tạp có thể được nén hiệu quả để chạy cục bộ trên phần cứng tiêu dùng hàng ngày như điện thoại di động và thiết bị đeo. Nó cũng cho thấy việc chuyển đổi đầu ra cấu trúc của mô hình sang các LLM văn bản thuần túy có thể mang lại cho chúng khả năng đa phương thức mà không cần tinh chỉnh tốn kém. Mirage bao gồm bộ mã hóa hình ảnh 7,8M sử dụng HConvGLU, bộ giải mã ngôn ngữ 40,8M và 2,6M tham số cho các đầu OCR và không gian. Mô hình hỗ trợ mô tả đa ngôn ngữ và chứng minh rằng các bản ghi cấu trúc có thể cải thiện hiệu suất VQA của các mô hình văn bản cơ sở, mặc dù vẫn tồn tại các vấn đề về tuân thủ định dạng.

## KIẾN THỨC NỀN

Mô hình ngôn ngữ thị giác (VLM) kết hợp thị giác máy tính và xử lý ngôn ngữ tự nhiên để hiểu và mô tả nội dung hình ảnh. AI biên đề cập đến việc chạy các mô hình trí tuệ nhân tạo trực tiếp trên các thiết bị phần cứng cục bộ thay vì máy chủ đám mây, giúp giảm độ trễ và bảo vệ quyền riêng tư tốt hơn.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Edge AI#Computer Vision#Visual-Language Models#Model Optimization#LocalLLaMA

$ subscribe --daily