Trình thu thập dữ liệu AI của Meta tấn công dồn dập khiến website nghệ sĩ độc lập tê liệt

Trang web của một nghệ sĩ độc lập gần như bị sập sau khi phải gánh chịu hơn 550.000 lượt yêu cầu từ các trình thu thập dữ liệu huấn luyện và lập chỉ mục AI của Meta trong một khoảng thời gian ngắn. Lưu lượng truy cập đột biến này đã làm cạn kiệt tài nguyên máy chủ lưu trữ của cô, buộc cô phải triển khai các biện pháp chặn khẩn cấp ở phía máy chủ. Sự cố này nhấn mạnh gánh nặng tài chính và kỹ thuật ngày càng lớn mà các trình thu thập dữ liệu web AI hung hăng gây ra cho các chủ doanh nghiệp nhỏ và người sáng tạo độc lập. Khi các ông lớn công nghệ ồ ạt thu thập dữ liệu công khai cho các mô hình ngôn ngữ lớn, lưu lượng truy cập tự động không được kiểm soát có thể làm tê liệt cơ sở hạ tầng lưu trữ dễ bị tổn thương. Lưu lượng truy cập xuất phát từ các trình thu thập dữ liệu 'Meta External Agent' và 'Meta Web Indexer' của Meta, vốn chuyên duyệt web trên diện rộng để huấn luyện các mô hình AI và tối ưu hóa tính năng tìm kiếm. Các công cụ phòng thủ tiêu chuẩn như tệp robots.txt và tường lửa đã không thể chặn các yêu cầu ngay lập tức, buộc chủ sở hữu trang web phải tự tay chỉnh sửa các tệp cấu hình ẩn với nhà cung cấp dịch vụ lưu trữ SiteGround của cô.