Anthropic làm rõ chính sách khóa tài khoản API liên quan đến công cụ đánh giá LLM
Một đại diện của Anthropic đã làm rõ rằng công ty không khóa tài khoản người dùng vì sử dụng các công cụ đánh giá (evaluation harness) với các mô hình khác. Đại diện này giải thích rằng việc khóa tài khoản gần đây là do lỗi dương tính giả từ một bộ phân loại tài khoản tự động. Sự làm rõ này giúp các nhà phát triển và nghiên cứu yên tâm rằng việc đo chuẩn (benchmark) và so sánh các mô hình của Anthropic với các đối thủ cạnh tranh bằng các công cụ đánh giá tiêu chuẩn sẽ không dẫn đến việc bị khóa API. Nó cũng làm nổi bật những thách thức của các hệ thống kiểm duyệt tài khoản tự động khi có thể gắn cờ nhầm các hoạt động hợp pháp của nhà phát triển. Vấn đề này đã được đưa ra ánh sáng trên mạng xã hội, thúc đẩy Anthropic điều tra lỗi dương tính giả và đề xuất cơ hội việc làm cho người dùng bị ảnh hưởng. Các công cụ đánh giá, như lm-evaluation-harness của EleutherAI, được sử dụng rộng rãi trong cộng đồng AI để thử nghiệm các mô hình trên hàng trăm bài kiểm tra chuẩn.
## KIẾN THỨC NỀN
Công cụ đánh giá (evaluation harness) là một khung chuẩn hóa được các nhà phát triển AI sử dụng để thử nghiệm và đo lường hiệu suất của các Mô hình Ngôn ngữ Lớn (LLM) trên nhiều tác vụ khác nhau. Bộ phân loại tài khoản (account classifier) là các mô hình học máy được các nhà cung cấp API triển khai để phát hiện và chặn các hoạt động đáng ngờ, bot hoặc vi phạm chính sách, mặc dù đôi khi chúng có thể tạo ra kết quả dương tính giả.