Liquid AI ra mắt các mô hình ra quyết định đa thức d1-3B và d1-omni không xuất token
Liquid AI đã công bố d1-omni-600M và d1-3B, hai mô hình ra quyết định kích thước nhỏ cho thiết bị biên được xây dựng trên kiến trúc Liquid Foundation Model (LFM) có khả năng xử lý văn bản, hình ảnh và âm thanh. Khác với các mô hình sinh, chúng trả về câu trả lời có kiểu dữ liệu và xác suất được hiệu chỉnh trực tiếp từ phân phối logit chỉ trong một lượt lan truyền tiến (forward pass) mà không cần sinh token đầu ra. Bằng cách loại bỏ quá trình sinh token tự hồi quy, các mô hình này giúp giảm đáng kể độ trễ suy luận và chi phí tính toán cho các tác vụ ra quyết định theo thời gian thực. Hướng đi này cho phép đưa ra các quyết định AI có tính xác định với độ trễ cực thấp trên thiết bị biên mà không tốn chi phí cho các token đầu ra như LLM thông thường. Mô hình d1-omni với 587 triệu tham số hỗ trợ xử lý văn bản, ghép mảnh nhiều hình ảnh và đoạn âm thanh lên đến 30 giây, trong khi d1-3B (3 tỷ tham số) đạt 48,57 điểm trên Decision Index 0.2.1, vượt qua các mô hình lớn hơn như Decider 35B-A3B. Cả hai mô hình đạt độ trễ ra quyết định dưới 10 ms trên các GPU như RTX 4090 (8 ms) và AMD MI325X (9 ms), kèm theo định dạng tệp GGUF đã được phát hành trên Hugging Face.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) dạng sinh tiêu chuẩn tạo đầu ra theo từng token thông qua các vòng lặp giải mã tự hồi quy lặp đi lặp lại, dẫn đến độ trễ và độ dài đầu ra không cố định. Các mô hình Liquid Foundation Model (LFM) của Liquid AI sử dụng kiến trúc lai tối ưu, cho phép các biến thể ra quyết định như d1 tính toán phân phối xác suất dựa trên các tùy chọn cấu trúc chỉ trong một lượt duy nhất.