ChatGPT, Gemini ve Perplexity: Hangi AI Botu İçeriğinizi Nasıl Kullanıyor?

Yapay zeka sektörünün üç önemli oyuncusu olan OpenAI, Google ve Perplexity, web içeriklerini toplamak için kendi botlarını kullanmaktadır. Bu botların her biri farklı amaçlarla çalışır, farklı miktarda veri toplar ve farklı şekillerde engellenir. İçerik üreticileri ve site sahipleri olarak bu farklılıkları anlamak, bilinçli kararlar vermeniz için önemlidir.

GPTBot - OpenAI

GPTBot, OpenAI tarafından işletilen ve GPT modellerinin eğitim verisi toplamak amacıyla web sitelerini tarayan bir bottur. User-agent değeri "GPTBot/1.0" olarak görünür ve OpenAI'ın yayınladığı belirli IP aralıklarından istek yapar.

GPTBot'un topladığı veriler, ChatGPT ve diğer GPT tabanlı ürünlerin geliştirilmesinde kullanılır. OpenAI, GPTBot'un paywall arkasındaki içerikleri, kişisel bilgi içeren sayfaları ve OpenAI politikalarına aykırı içerikleri toplamadığını belirtmektedir. Ancak botun tam olarak hangi filtreleme kriterlerini uyguladığı kamuya açık değildir.

OpenAI ayrıca ChatGPT-User adlı ikinci bir bot da kullanmaktadır. Bu bot, kullanıcılar ChatGPT içinde web tarama özelliğini kullandığında devreye girer ve gerçek zamanlı bilgi almak için sayfaları tarar. GPTBot model eğitimi için toplu tarama yaparken, ChatGPT-User kullanıcı isteklerine yanıt olarak anlık tarama yapar.

GPTBot'u engellemek için robots.txt dosyanıza User-agent: GPTBot ve Disallow: / satırlarını ekleyebilirsiniz. ChatGPT-User'ı da ayrıca engellemeniz gerekir çünkü iki bot bağımsız çalışır.

Google-Extended - Google

Google-Extended, Google'ın Gemini (eski adıyla Bard) AI modeli için veri toplayan bottur. Burada önemli bir ayrım vardır: Google-Extended yalnızca AI eğitimi için veri toplar ve normal Google araması ile ilgisi yoktur. Googlebot'u engellemeden Google-Extended'ı engelleyebilirsiniz; bu durumda siteniz Google arama sonuçlarında görünmeye devam eder ancak Gemini'nin eğitiminde kullanılmaz.

Google-Extended'ın diğer AI botlarından önemli bir farkı, Google Search Console üzerinden yönetilebilmesidir. Google, bu bot için robots.txt desteği sunmaktadır. robots.txt dosyanıza User-agent: Google-Extended ve Disallow: / ekleyerek Gemini eğitimi için veri toplanmasını engelleyebilirsiniz.

Google'ın AI veri toplama yaklaşımı diğer şirketlere göre daha şeffaftır. Hangi botun ne amaçla kullandığını açıkça belgelemiş ve site sahiplerine kontrol mekanizmaları sunmuştur.

PerplexityBot - Perplexity AI

PerplexityBot, AI destekli arama motoru Perplexity tarafından kullanılan bottur. Perplexity, geleneksel arama motorlarından farklı olarak kullanıcı sorularına doğrudan yanıt veren bir AI arama platformudur. Bu nedenle PerplexityBot'un topladığı veriler hem model eğitimi hem de gerçek zamanlı soru yanıtlama için kullanılır.

Perplexity'nin içerik kullanım biçimi, içerik üreticileri arasında en çok tartışılan konulardan biridir. Perplexity, kaynak sayfaların içeriğini doğrudan özetleyerek kullanıcıya sunar ve kaynak bağlantısı verir. Ancak kullanıcıların çoğu yanıtı doğrudan okuyarak kaynak siteyi ziyaret etmez. Bu durum, içerik üreticilerinin trafik kaybetmesine yol açabilir.

PerplexityBot'u engellemek için robots.txt dosyanıza User-agent: PerplexityBot ve Disallow: / satırlarını ekleyebilirsiniz. Ancak Perplexity'nin geçmişte robots.txt kurallarına tam olarak uymadığına dair raporlar bulunmaktadır. Bu nedenle ek önlem olarak sunucu düzeyinde veya WAF üzerinden engelleme yapmanız önerilir.

Karşılaştırmalı Değerlendirme

Veri kullanım amacı açısından GPTBot yalnızca model eğitimi, Google-Extended yalnızca Gemini eğitimi ve PerplexityBot hem eğitim hem gerçek zamanlı yanıt oluşturma amacıyla veri toplar.

Şeffaflık açısından Google en şeffaf yaklaşımı sunar; IP aralıkları, amaçlar ve engelleme yöntemleri detaylı şekilde belgelenmiştir. OpenAI da IP listelerini ve bot davranışını belgelemiştir. Perplexity ise bu konuda en az şeffaf olan platformdur.

Engelleme etkinliği açısından GPTBot ve Google-Extended robots.txt kurallarına güvenilir şekilde uyar. PerplexityBot için ek sunucu düzeyinde engelleme önerilir.

İçerik üreticisi olarak kararınızı verirken şunları değerlendirin: AI arama sonuçlarında görünmek trafik kaynağı olabilir, ancak doğrudan içerik sunumu organik trafiğinizi azaltabilir. Her bot için ayrı ayrı karar vererek en uygun dengeyi kurabilirsiniz. Bazı botlara izin verip diğerlerini engellemeniz mümkündür; bu tamamen sizin iş modelinize ve önceliklerinize bağlıdır.