Sahte Bot Trafiğini Tespit Etme ve Engelleme Yöntemleri

Web sitenize gelen bot trafiğinin tamamı zararsız değildir. Bazı botlar, kendilerini Googlebot veya Bingbot gibi meşru tarayıcılar olarak tanıtarak güvenlik önlemlerinizi atlatmaya çalışır. Bu sahte bot trafiği, veri hırsızlığından DDoS saldırılarına kadar birçok tehdit oluşturabilir. Bu yazıda sahte bot trafiğini tespit etme ve engelleme yöntemlerini ele alıyoruz.

Sahte Bot Trafiği Nedir?

Sahte bot trafiği, HTTP istek başlıklarında meşru bir botun user-agent değerini kullanan ancak gerçekte o bota ait olmayan otomatik isteklerdir. Örneğin bir bot, user-agent başlığını Googlebot olarak ayarlayarak sitenize erişmeye çalışabilir. Bu tür trafik özellikle tehlikelidir çünkü birçok site yöneticisi Googlebot'u beyaz listeye alarak tüm güvenlik kontrollerinden muaf tutar.

Sahte botlar genellikle şu amaçlarla kullanılır: içerik kazıma (scraping), fiyat izleme, envanter takibi, güvenlik açığı taraması ve spam yayma. Bu botlar robots.txt kurallarını görmezden gelir çünkü zaten meşru bir tarayıcı gibi davranmaya çalışmaktadırlar.

IP Adresi ile Doğrulama

Sahte botları tespit etmenin en güvenilir yöntemi IP adresi doğrulamasıdır. Google, Bing ve diğer büyük arama motorları botlarının kullandığı IP aralıklarını kamuya açık olarak yayınlar. Gelen bir istek Googlebot user-agent'ı taşıyorsa, kaynak IP adresinin Google'ın yayınladığı IP listesinde olup olmadığını kontrol edebilirsiniz.

Ters DNS sorgusu da etkili bir doğrulama yöntemidir. Googlebot'un IP adresi için ters DNS sorgusu yaptığınızda sonuç googlebot.com veya google.com ile bitmeli ve ardından yapılan ileri DNS sorgusu aynı IP adresini döndürmelidir. Bu iki yönlü doğrulama, sahte Googlebot isteklerini yüksek güvenilirlikle tespit eder.

Davranış Analizi ile Tespit

IP doğrulaması dışında davranış kalıplarını analiz ederek de sahte botları tespit edebilirsiniz. Gerçek arama motoru botları belirli kalıplarda tarama yapar: robots.txt dosyasını düzenli olarak kontrol eder, site haritasını takip eder ve sayfalardaki bağlantıları mantıklı bir sırayla izler.

Sahte botlar ise genellikle doğrudan belirli sayfalara yönelir, çok yüksek hızda istek gönderir ve robots.txt dosyasını kontrol etmez. Erişim loglarınızda bu kalıpları analiz ederek şüpheli trafiği tespit edebilirsiniz. Özellikle belirli bir IP adresinden çok kısa sürede yüzlerce istek geliyorsa, bu büyük olasılıkla sahte bot trafiğidir.

İstek başlıklarını incelemek de faydalıdır. Gerçek tarayıcı botları tutarlı ve eksiksiz HTTP başlıkları gönderir. Sahte botlar ise genellikle eksik veya tutarsız başlıklar kullanır. Accept-Language, Accept-Encoding gibi başlıkların yokluğu veya anormal değerleri bir uyarı işareti olabilir.

Pratik Engelleme Çözümleri

Sahte bot trafiğini engellemek için çok katmanlı bir yaklaşım benimsemelisiniz. Sunucu düzeyinde IP doğrulaması yaparak bilinen meşru botları beyaz listeye alın ve diğer tüm bot isteklerini ek kontrollerden geçirin. WAF kuralları ile anormal istek kalıplarını otomatik olarak engelleyin. Cloudflare, Sucuri veya benzeri hizmetlerin bot yönetimi özelliklerinden yararlanın. Erişim loglarınızı düzenli olarak analiz ederek yeni tehditleri erken tespit edin ve engelleme kurallarınızı güncel tutun.