Cloudflare ra mắt thiết lập 'Disallow AI Training' giúp chặn thu thập dữ liệu AI nhưng vẫn giữ lại chỉ mục tìm kiếm
Cloudflare đã ra mắt thiết lập mới "Disallow AI Training" cho phép quản trị viên website đồng ý cho các công cụ tìm kiếm lập chỉ mục nhưng ngăn chặn nội dung bị thu thập để huấn luyện mô hình AI. Các gã khổng lồ công nghệ bao gồm Apple, Google và Microsoft đã cam kết sẽ tuân thủ chỉ thị này. Tính năng này giải quyết tình thế lưỡng nan kéo dài của các chủ sở hữu website, những người muốn bảo vệ tài sản trí tuệ khỏi các mô hình AI tạo sinh mà không phải đánh đổi lưu lượng truy cập và khả năng hiển thị trên công cụ tìm kiếm. Việc thiết lập các tiêu chuẩn rõ ràng được các tập đoàn công nghệ lớn công nhận đánh dấu một bước tiến quan trọng trong quản trị dữ liệu web. Theo chính sách mới, Cloudflare vẫn cho phép các trình cào dữ liệu hỗn hợp vừa tìm kiếm vừa huấn luyện AI nếu được đánh dấu là "Accountable" (có trách nhiệm), mặc dù việc chặn một số trình cào dữ liệu có thể ảnh hưởng đến thứ hạng tìm kiếm. Ngoài ra, người dùng hiện tại đang bật tính năng chặn AI sẽ tự động được chuyển sang thiết lập này, trong khi Google, Apple và Microsoft cũng đang triển khai các cơ chế hỗ trợ ở cấp độ URL và robots.txt.
## KIẾN THỨC NỀN
Trình cào dữ liệu web theo truyền thống thu thập nội dung trực tuyến để xây dựng chỉ mục tìm kiếm, giúp người dùng tìm thấy trang web qua các truy vấn. Tuy nhiên, sự bùng nổ của AI tạo sinh đã khiến các công ty công nghệ thu thập lượng lớn dữ liệu web để huấn luyện mô hình, thường kết hợp việc lập chỉ mục tìm kiếm và thu thập dữ liệu AI vào cùng một hệ thống tự động. Do đó, các nhà xuất bản trước đây phải đối mặt với lựa chọn được ăn cả ngã về không: hoặc chặn trình cào AI hoặc chấp nhận mất lưu lượng truy cập từ công cụ tìm kiếm.