LiquidAI Phát Hành Mô Hình Lập Luận Cục Bộ LFM2.5-24B-A2B
LiquidAI đã giới thiệu LFM2.5-24B-A2B, một mô hình lập luận 24 tỷ tham số với chỉ 2,45 tỷ tham số hoạt động, được thiết kế cho các tác vụ tác tử và gọi công cụ nhanh chóng, riêng tư ngay trên thiết bị. Đây là mô hình lớn nhất và cuối cùng trong dòng LFM2.5, được huấn luyện trên nguồn dữ liệu khổng lồ gồm 36 nghìn tỷ token với độ dài ngữ cảnh lên tới 131.072 token. Mô hình này đạt hiệu suất tác vụ và gọi công cụ cạnh tranh so với các mô hình lớn hơn đáng kể trong khi vẫn hoạt động ở tốc độ cao và chi phí tính toán thấp. Thiết kế hiệu quả của nó cho phép suy luận cục bộ nhanh chóng, giúp các khả năng lập luận mạnh mẽ dễ dàng tiếp cận trực tiếp trên phần cứng người tiêu dùng và các thiết bị biên. Kiến trúc này sử dụng tổng cộng 40 lớp, kết hợp 30 khối tích chập ngắn có cổng kép với 10 lớp GQA và cấu trúc Hỗn hợp chuyên gia (Mixture of Experts) gồm 64 chuyên gia với cơ chế định tuyến top-4. Mô hình đạt tốc độ suy luận lên tới 184 token mỗi giây trên thiết bị Apple M5 Max và lên tới 21.000 token đầu ra mỗi giây trên một GPU NVIDIA B300 đơn lẻ.
## KIẾN THỨC NỀN
Hỗn hợp chuyên gia (Mixture of Experts - MoE) là một kiến trúc học máy trong đó tổng số lượng tham số lớn được chia thành các mạng con chuyên biệt gọi là chuyên gia, nhưng chỉ một tập hợp con nhỏ các tham số này được sử dụng tích cực cho mỗi token được tạo ra nhằm giảm độ trễ. GGUF là một định dạng tệp khép kín được tối ưu hóa để lưu trữ các mô hình ngôn ngữ lớn một cách hiệu quả cho phần cứng cộng đồng và các framework thực thi cục bộ.