Liquid AI Phát Hành Mô Hình LFM3-1.7B Với Kiến Trúc Tri-Hybrid

Liquid AI đã phát hành LFM3-1.7B, một mô hình văn bản có 1,73 tỷ tham số sử dụng kiến trúc ba kết hợp (tri-hybrid) gồm các lớp tích chập ngắn có cổng và cơ chế chú ý. Mô hình hỗ trợ cửa sổ ngữ cảnh lên tới 256K token và được tối ưu hóa đặc biệt cho các tác nhân chạy cục bộ cùng thiết bị biên. Sản phẩm này đánh dấu một bước tiến quan trọng đối với trí tuệ nhân tạo trên thiết bị, cho phép các quy trình tác nhân mạnh mẽ và xử lý ngữ cảnh lớn trực tiếp trên phần cứng phổ thông như điện thoại thông minh và máy tính xách tay. Ở độ chính xác 4-bit, mô hình chỉ tốn khoảng 1 GB bộ nhớ, giúp AI cục bộ tiên tiến trở nên dễ tiếp cận hơn nhiều. Mô hình có 24 lớp được chia thành 13 lớp tích chập ngắn có cổng, 5 lớp chú ý cửa sổ trượt và 6 lớp chú ý toàn cục, đi kèm với bộ từ vựng 128.000 token. Mặc dù rất hiệu quả trong việc gọi công cụ và xuất dữ liệu có cấu trúc, các nhà phát triển khuyến cáo không nên sử dụng mô hình cho suy luận nhiều bước phức tạp hoặc viết mã tự động do kích thước nhỏ gọn của nó.