Liquid AI Thả Thính Ra Mắt Các Mô Hình Liquid Foundation Model Mới
Ramin Hasani, CEO của Liquid AI, đã đăng một đoạn tweet trên X dẫn link đến kho lưu trữ Hugging Face của công ty và hỏi người dùng kích thước mô hình họ mong muốn trước đợt phát hành sắp tới. Bài đăng gợi mở về một dòng mô hình Liquid Foundation Model (LFM) mới. LFM đại diện cho một kiến trúc AI phi Transformer quan trọng, mang lại khả năng tính toán thích ứng và hiệu suất cao hơn khi xử lý dữ liệu đầu vào liên tục có ngữ cảnh dài. Các mô hình mới ra mắt trong dòng sản phẩm này sẽ cung cấp cho cộng đồng AI những giải pháp thay thế thực tế cho các LLM dựa trên Transformer truyền thống, đặc biệt là khi triển khai trên thiết bị biên hoặc giới hạn bộ nhớ. Đoạn hé lộ trên mạng xã hội chưa đính kèm ngay điểm số thử nghiệm (benchmark), tài liệu kiến trúc chi tiết hay trọng số của mô hình. Các LFM tận dụng động lực học thời gian liên tục từ nghiên cứu mạng thần kinh lỏng thay vì sử dụng cơ chế tự chú ý (self-attention) tiêu chuẩn.
## KIẾN THỨC NỀN
Mạng thần kinh lỏng (Liquid Neural Networks - LNN) và Liquid Foundation Model (LFM) là các kiến trúc thần kinh thời gian liên tục được thiết kế để thay thế cho kiến trúc Transformer tiêu chuẩn. Khác với các mô hình truyền thống có tham số cố định sau khi huấn luyện, kiến trúc lỏng sử dụng các phương trình thích ứng cho phép xử lý dữ liệu chuỗi và chuỗi thời gian một cách linh hoạt. Sự thay đổi kiến trúc mang tính bước ngoặt này nhằm mang lại hiệu suất tính toán cao hơn và giảm mức tiêu thụ bộ nhớ trên nhiều nền tảng phần cứng khác nhau.