Google triển khai tham số chuyển hướng "goto" nhằm chống thu thập dữ liệu AI
Google đã xác nhận việc triển khai tham số chuyển hướng "goto" mới trong kết quả tìm kiếm, điều hướng người dùng qua địa chỉ trung gian "google.com/goto" thay vì liên kết trực tiếp đến trang đích. Thay đổi này được thiết kế nhằm ngăn chặn các công cụ thu thập dữ liệu tự động và khai thác dữ liệu của các công ty AI bằng cách thay thế liên kết phía máy khách bằng chuyển hướng phía máy chủ. Bản cập nhật này gây ảnh hưởng lớn đến ngành thu thập dữ liệu web (web scraping) và giám sát SEO bằng cách gây khó khăn cho việc thu thập dữ liệu hàng loạt từ Google Search. Các công ty AI và công cụ cào dữ liệu sẽ phải đối mặt với chi phí vận hành cao hơn do không còn dễ dàng trích xuất trực tiếp URL đích từ trang kết quả tìm kiếm. Theo nền tảng giám sát SEO Nozzle, Google đã triển khai rộng rãi thay đổi này trên các mạng proxy IP dân cư (residential IP), đạt tỷ lệ bao phủ gần 100%. Các công cụ cào dữ liệu giờ đây buộc phải thực hiện yêu cầu chuyển hướng cho từng liên kết để xác định trang đích cuối cùng, làm tăng đáng kể chi phí tài nguyên khi thu thập dữ liệu quy mô lớn.
## KIẾN THỨC NỀN
Các công cụ cào dữ liệu web thường sử dụng proxy dân cư (residential proxy), vốn định tuyến lưu lượng truy cập qua các kết nối Internet gia đình thông thường, để vượt qua hệ thống phát hiện bot của Google. Trước đây, các công cụ này có thể dễ dàng trích xuất URL đích trực tiếp từ mã HTML của kết quả tìm kiếm Google, nhưng cơ chế chuyển hướng phía máy chủ (server-side redirect) buộc máy khách phải thực hiện một yêu cầu truy cập thực tế để phân giải địa chỉ đích cuối cùng.