Các Mô Hình Jeff Mã Nguồn Mở Mang Lại Khả Năng Ra Quyết Định System 1 Cục Bộ ~30 ms

Nhà phát triển firelex đã phát hành "Jeff", một loạt mô hình tinh chỉnh Qwen và Gemma mã nguồn mở có kích thước 0,8B và 2B được thiết kế để phân loại quyết định zero-shot siêu nhanh. Hoạt động chỉ trong một lượt lan truyền tiến (forward pass) duy nhất mà không cần sinh văn bản tự hồi quy, mô hình 0,8B đạt độ trễ ra quyết định chỉ khoảng 28 ms đồng thời tương đương với các mô hình System 1 thương mại như TypeSafe Jev trên các bài kiểm thử. Dự án này chứng minh rằng quá trình ra quyết định có cấu trúc với tốc độ cao có thể chạy hoàn toàn cục bộ trên các thiết bị cá nhân như máy tính xách tay mà không cần phụ thuộc vào API đám mây hay các mô hình đóng lớn. Điều này cho phép các nhà phát triển tích hợp khả năng phân loại, điều hướng và điều khiển ứng dụng theo thời gian thực với tốc độ lên tới 50 quyết định mỗi giây. Mô hình Jeff 2B đạt điểm số 83,1% trên bộ 5 bài kiểm thử, nhỉnh hơn một chút so với mức 83,0% đã công bố của Jev, trong khi toàn bộ dữ liệu huấn luyện tổng hợp đều được tạo cục bộ bằng các mô hình mở mà không sử dụng dịch vụ đám mây. Mặc dù rất hiệu quả trong các quyết định đánh giá nhanh, các mô hình này chủ động giới hạn hiệu suất suy luận đa bước so với các LLM lớn hơn.