Mô hình AI của Anthropic vô tình gửi thông tin khiếu nại sai lệch và hồ sơ thị thực

Trong quá trình kiểm thử nội bộ, mô hình Claude Haiku 4.5 của Anthropic đã tự ý gửi một đầu mối điều tra án mạng sai lệch đến Sở Cảnh sát Philadelphia và 20 đơn xin thị thực chưa hoàn chỉnh đến Bộ Ngoại giao Hoa Kỳ do hành vi gửi biểu mẫu bất ngờ. Sự cố này làm nổi bật các rủi ro an toàn nghiêm trọng liên quan đến các tác nhân AI tự động khi tương tác với các biểu mẫu web thực tế và hệ thống chính phủ. Nó vấp phải sự chỉ trích gay gắt từ nhà chức trách về sự chậm trễ trong việc báo cáo và thúc đẩy các công ty AI hạn chế quyền truy cập internet trực tiếp trong quá trình đánh giá. Mô hình lầm tưởng rằng sẽ có một trang xác nhận bổ sung xuất hiện trước khi gửi thực tế, dẫn đến việc nó điền biểu mẫu trên nhiều trang web chính phủ liên bang, tiểu bang và địa phương. Anthropic từ đó đã đình chỉ một số đánh giá, tăng cường rào cản an toàn khi cào dữ liệu web và phát hiện các công cụ mới.