Typesafe.ai Ra Mắt Jev Và Các Mô Hình System One Cho Suy Luận AI Chuẩn Hóa Nhanh
Typesafe.ai đã giới thiệu Jev, mô hình đầu tiên thuộc kiến trúc 'System One' mới được thiết kế riêng cho suy luận cấu trúc có kiểu dữ liệu với tốc độ nhanh thay vì tạo văn bản tự do. Jev đánh giá các đầu vào cùng với các dạng truy vấn xác định để trả về kết quả dạng cấu trúc như xác suất, lựa chọn và điểm tin cậy trong khoảng 70 đến 500 mili-giây. Bằng cách loại bỏ khả năng tạo văn bản mở, các mô hình System One đánh đổi sự linh hoạt trong hội thoại để đạt độ trễ cực thấp cho các quyết định dạng cấu trúc mà ứng dụng phần mềm có thể trực tiếp sử dụng. Tiệm cận này mang lại một giải pháp thay thế hiệu quả hơn nhiều cho các tác vụ lập trình như chấm điểm cảm xúc và phân loại danh mục vốn không cần đến quy trình sinh văn bản phức tạp. Khác với các LLM sinh tự hồi quy dự đoán token tiếp theo, Jev xử lý truy vấn bằng cách sử dụng các nguyên bản chuyên biệt như Choice, Score hoặc Noul. Mô hình này khai thác các phương pháp kỹ thuật như lấy mẫu song song và Học tăng cường từ Phản hồi Trình biên dịch (RLCD) để tối ưu hóa đầu ra cấu trúc tốc độ cao.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) thông thường tạo ra các chuỗi token văn bản, gây ra độ trễ và sự phức tạp khi phân tích ngữ nghĩa nếu ứng dụng chỉ cần một nhãn phân loại hoặc điểm xác suất đơn giản. Khái niệm mô hình 'System 1' lấy cảm hứng từ lý thuyết của nhà tâm lý học Daniel Kahneman về tư duy nhanh, tự động của con người, đối lập với tư duy 'System 2' chậm và suy xét kỹ lưỡng.