TinyDecide: Mô hình ra quyết định 10M tham số cho vi điều khiển và thiết bị biên
Nhà phát triển /u/TheRealREZOR đã giới thiệu TinyDecide, một mô hình ra quyết định siêu nhỏ gọn với 10 triệu tham số và dung lượng bộ nhớ chỉ khoảng 6MB. Mặc dù nhỏ hơn tất cả các mô hình trên bảng xếp hạng Decision Index, TinyDecide vẫn có thể chạy hiệu quả trên nhiều môi trường từ trình duyệt web, ứng dụng Rust đến các vi điều khiển như ESP32. TinyDecide mang khả năng ra quyết định có cấu trúc lên các thiết bị cực kỳ hạn chế về phần cứng, thúc đẩy các lĩnh vực TinyML và triển khai AI tại thiết bị biên. Mô hình này chứng minh rằng các mô hình siêu nhỏ gọn, chuyên biệt có thể thực thi logic quyết định nhanh chóng tại địa phương trên phần cứng IoT công suất thấp mà không cần phụ thuộc vào hạ tầng đám mây. Mô hình sử dụng kiến trúc kiểu Jev nhằm trả về các quyết định có cấu trúc thay vì tạo văn bản tự do, gói gọn trong dung lượng chỉ 6MB. Nó hỗ trợ thực thi trên Python, Node.js, Rust, trình duyệt web và các nền tảng nhúng như chip ESP32.
## KIẾN THỨC NỀN
Khác với các mô hình ngôn ngữ lớn thông thường được xây dựng để tạo văn bản tự do, các mô hình kiểu Jev hoạt động như các công cụ xử lý nhanh, chính xác, phục vụ riêng cho việc phân tích dữ liệu và đưa ra quyết định có cấu trúc. Decision Index là một bảng xếp hạng đánh giá các mô hình ra quyết định mã nguồn mở qua hàng chục nghìn yêu cầu thuộc các nhiệm vụ như tự động hóa, truy xuất và phân loại.