Trích xuất Logit nguồn mở tái hiện các mô hình AI ra quyết định thương mại như Jev
Nhà phát triển TheoLeeCJ đã tạo ra OpenJev, một dự án nguồn mở chứng minh rằng việc trích xuất xác suất logit cho các lựa chọn từ mô hình Qwen cục bộ có thể đạt hiệu suất tương đương hoặc vượt trội so với mô hình ra quyết định thương mại như Jev của TypeSafe AI. Giải pháp này gán các lựa chọn quyết định thành các chữ cái cụ thể và ghi lại xác suất logit thô của mô hình trực tiếp trên trình duyệt hoặc máy cục bộ. Các mô hình ra quyết định thương mại như Jev thu phí để cung cấp các xác suất quyết định đã được hiệu chuẩn thay vì sinh văn bản thông thường. Việc chứng minh rằng các LLM nguồn mở cục bộ có thể đạt được các quyết định dựa trên xác suất tương tự thông qua trích xuất logit cơ bản giúp các nhà phát triển xây dựng hạ tầng ra quyết định nhanh chóng, tiết kiệm chi phí mà không cần API độc quyền. OpenJev hoạt động bằng cách gán từng tùy chọn trắc nghiệm cho một token xác định (như các chữ cái A, B hoặc C) và kiểm tra phân phối xác suất logit trên các token đó tại bước đầu ra quan trọng. Tác giả đã công khai mã nguồn trên GitHub cùng một bản thử nghiệm trên web sử dụng mô hình Qwen 4 tỷ tham số.
## KIẾN THỨC NỀN
TypeSafe AI gần đây đã giới thiệu Jev, một mô hình System One thương mại được xây dựng để trả về các xác suất định kiểu nhanh chóng cho việc ra quyết định tự động thay vì các phản hồi trò chuyện. Trong các mô hình ngôn ngữ lớn, logit là các đầu ra số chưa chuẩn hóa được tạo ra trước khi tính toán xác suất token qua hàm softmax. Việc trích xuất các logit này cho phép các nhà phát triển đánh giá mức độ ưu tiên của LLM cho các lựa chọn định sẵn mà không cần chờ tạo toàn bộ văn bản.