Simon Willison Ra Mắt Plugin `llm-typesafe` Cho Mô Hình Jev Của TypeSafe AI
Simon Willison đã công bố `llm-typesafe` 0.1a0, một plugin phiên bản alpha cho công cụ dòng lệnh `llm` của ông, giúp tích hợp với mô hình Jev mới của TypeSafe AI. Plugin này cho phép người dùng dòng lệnh truy vấn trực tiếp Jev để nhận các quyết định có cấu trúc như xác suất đúng/sai, lựa chọn phân loại và đánh giá điểm số. Plugin này mở rộng khả năng của công cụ CLI `llm` phổ biến sang các mô hình quyết định không sinh văn bản, giúp các nhà phát triển thực thi các đánh giá có cấu trúc trực tiếp trong các kịch bản dòng lệnh. Điều này làm nổi bật một nhóm mô hình AI chuyên biệt mới được tối ưu hóa cho việc đưa ra quyết định nhanh chóng và chính xác thay vì tạo văn bản tự do truyền thống. Được cài đặt qua lệnh `llm install llm-typesafe`, plugin yêu cầu khóa API của TypeSafe AI để hoạt động. Plugin hỗ trợ các chế độ phản hồi cụ thể của Jev bao gồm `noul` (câu hỏi xác suất có/không), `choice` (phân loại đầu vào theo tiêu chí) và `score` (đánh giá đầu vào theo thang điểm định sẵn).
## KIẾN THỨC NỀN
Jev của TypeSafe AI là một mô hình AI chuyên biệt được thiết kế để đưa ra quyết định có định kiểu dữ liệu tốc độ cao thay vì tạo văn bản tự do. Thay vì xuất ra các token văn bản thông thường, Jev đánh giá các yêu cầu dựa trên tiêu chí được định nghĩa và trả về các phản hồi có cấu trúc kèm xác suất. Công cụ `llm` của Simon Willison là một ứng dụng dòng lệnh mã nguồn mở và thư viện Python được thiết kế để tương tác với nhiều mô hình ngôn ngữ thông qua các plugin mở rộng.