Nghi vấn xung quanh chiến dịch tiếp thị AI của Jev cho khả năng phân loại zero-shot

Một bài đăng phản biện trên r/LocalLLaMA đã thách thức các tuyên bố tiếp thị đằng sau Jev, một mô hình ra quyết định được quảng bá, cho rằng khả năng của nó chỉ dựa trên các kỹ thuật phân loại zero-shot và cross-encoder tiêu chuẩn chứ không phải một kiến trúc AI mới. Bài viết nhấn mạnh rằng hiệu quả của Jev đã được so sánh một cách không công bằng với các LLM tự hồi quy chậm chạp thay vì so sánh với các mô hình phân loại văn bản chuyên biệt hiện có. Thảo luận này vạch rõ cách các nhà cung cấp AI có thể đóng gói lại các kỹ thuật học máy đã quen thuộc thành những đột phá cách mạng đối với những người chỉ hiểu biết về AI qua các mô hình LLM. Nó nhấn mạnh sự cần thiết của việc kiểm thử benchmark các mô hình chuyên biệt so với các mô hình phân loại hiện có thay vì so sánh với các mô hình sinh tổng quát. Các thử nghiệm sơ bộ từ cộng đồng trên tập dữ liệu Banking77 cho thấy thiết lập truyền thống như BGE-small kết hợp hồi quy logistic đạt độ chính xác 93.3% ở tốc độ ~9ms cục bộ, vượt trội hơn mức 83.2% của Jev. Ngoài ra, Jev chưa trải qua đánh giá nghiêm ngặt trên các bộ benchmark zero-shot toàn diện như BTZSC, vốn đánh giá các mô hình NLI, nhúng và reranker trên 22 tập dữ liệu.