Google-Extended

Google-Extended, Google tarafından 2023 yılında tanıtılan ve yapay zeka model eğitimi için web içeriklerinin taranmasını kontrol etmeye yarayan özel bir user-agent tanımıdır. Bu bot, Google'ın Gemini (eski adıyla Bard) ve diğer üretken yapay zeka ürünlerinin geliştirilmesinde kullanılan eğitim verilerinin toplanmasını yönetir. Google-Extended'ın en önemli özelliği, Google Arama dizinlemesinden tamamen bağımsız çalışmasıdır.

Web sitesi sahipleri, robots.txt dosyasında Google-Extended'ı engelleyerek içeriklerinin AI eğitiminde kullanılmasını önleyebilirken, sayfalarının Google Arama sonuçlarında görünmeye devam etmesini sağlayabilir. Bu ayrım, Google'ın yayıncıların haklarına saygı gösterme ve şeffaflık sağlama çabasının bir parçasıdır.

Google-Extended, Googlebot'un altyapısını kullanarak çalışır ancak farklı bir user-agent string'i ile kendini tanıtır. Bu sayede web sunucuları ve robots.txt dosyaları, AI tarama isteklerini standart arama motoru taramalarından ayırt edebilir. Bot, sayfaların metin içeriğini toplarken görselleri ve multimedya dosyalarını da analiz edebilir.

İçerik üreticiler ve yayıncılar için Google-Extended'ın engellenmesi, telif haklarıyla korunan içeriklerin izinsiz AI eğitiminde kullanılmasını önlemenin kolay bir yoludur. Ancak bu engelleme geriye dönük değildir; yalnızca engelleme tarihinden sonraki taramaları etkiler. Haber siteleri, akademik yayıncılar ve özgün içerik üreten platformlar bu botu engellemeyi sıklıkla tercih etmektedir.