Web Sitemi Hangi Botlar Ziyaret Ediyor? Sunucu Loglarını Okuma Rehberi
Sunucu erişim loglarından botları nasıl tespit edeceğinizi, yaygın log formatlarını ve analiz araçlarını adım adım öğrenin.
Web sitenize gelen trafiğin önemli bir kısmı insan ziyaretçilerden değil, botlardan oluşmaktadır. Arama motoru tarayıcıları, AI botları, güvenlik tarayıcıları ve kötü niyetli botlar sürekli olarak sitenizi ziyaret eder. Bu botları tespit etmenin en doğrudan yolu, sunucu erişim loglarını (access logs) incelemektir. Bu rehberde sunucu loglarını nasıl okuyacağınızı ve bot trafiğini nasıl analiz edeceğinizi adım adım anlatıyoruz.
Sunucu Erişim Logları Nedir?
Sunucu erişim logları, web sunucunuza gelen her HTTP isteğinin kaydını tutan dosyalardır. Her bir satır genellikle şu bilgileri içerir: istemcinin IP adresi, istek zamanı, HTTP metodu (GET, POST vb.), istenen URL yolu, HTTP durum kodu, döndürülen veri boyutu ve user-agent dizesi. User-agent dizesi, isteği yapan yazılımın kendini tanıttığı alandır ve bot tespitinin temel taşıdır.
Apache ve Nginx Log Formatları
Apache web sunucusu varsayılan olarak Combined Log Format kullanır. Bu formatta her satır şuna benzer:
66.249.66.1 - - [12/Mar/2026:10:15:30 +0300] "GET /sayfa.html HTTP/1.1" 200 5432 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"
Nginx de benzer bir format kullanır ve varsayılan log dosyası genellikle /var/log/nginx/access.log konumundadır. Apache için ise /var/log/apache2/access.log veya /var/log/httpd/access_log yaygın konumlardır.
Her iki formatta da satırın sonundaki tırnak içi kısım user-agent dizesidir. Bot tespiti için bu alanı incelemek kritik öneme sahiptir.
User-Agent Dizesinden Bot Tespiti
Bilinen botlar kendilerini user-agent dizesinde tanıtır. Yaygın bot user-agent örnekleri şunlardır:
Googlebot: "Googlebot/2.1 (+http://www.google.com/bot.html)" şeklinde kendini tanıtır. Google'ın arama motoru tarayıcısıdır.
Bingbot: "bingbot/2.0" ifadesini içerir. Microsoft Bing'in tarayıcısıdır.
GPTBot: "GPTBot/1.0" olarak görünür. OpenAI'ın veri toplama botudur.
ClaudeBot: "ClaudeBot" user-agent değerini kullanır. Anthropic'in veri toplama botudur.
Bytespider: ByteDance'in AI veri toplama botudur.
Bunların dışında SEO araçlarının botları (Ahrefs, Semrush, Moz), sosyal medya botları (Twitterbot, facebookexternalhit) ve güvenlik tarayıcıları da sıkça görülür.
Log Analiz Araçları
Manuel log incelemesi küçük siteler için mümkün olsa da, yüksek trafikli siteler için araç kullanmak şarttır. GoAccess, gerçek zamanlı terminal tabanlı bir log analizörüdür ve en popüler seçeneklerden biridir. AWStats ise kapsamlı istatistikler sunan bir başka yaygın araçtır. ELK Stack (Elasticsearch, Logstash, Kibana) büyük ölçekli log analizi için endüstri standardı çözümdür.
Komut satırında hızlı analiz için awk, grep ve sort komutlarını birleştirerek kullanabilirsiniz. Örneğin, loglarınızdaki tüm benzersiz user-agent dizelerini listelemek veya belirli bir botun kaç istek yaptığını saymak birkaç komutla mümkündür.
Nelere Dikkat Etmelisiniz?
Log analizi yaparken şu unsurlara dikkat edin: Anormal istek sıklığı gösteren IP adresleri genellikle agresif botlara veya saldırı girişimlerine işaret eder. Bilinmeyen veya boş user-agent dizeleri şüpheli trafik belirtisidir. Gerçek tarayıcı user-agent'ı kullanan ancak bot gibi davranan IP'ler (yüksek hızda, sıralı sayfa taraması) da dikkat çekmelidir.
Ayrıca 404 hatası döndüren isteklerin kaynağını incelemek, kötü niyetli tarama girişimlerini ortaya çıkarabilir. Sıkça /wp-admin, /phpmyadmin veya /.env gibi yolları tarayan botlar genellikle güvenlik açığı arayan otomatik tarayıcılardır.
Düzenli log analizi, hem güvenlik hem de SEO açısından sitenizin sağlığını korumanın temel yollarından biridir. Hangi botların sitenizi ziyaret ettiğini bilmek, bilinçli kararlar almanızı sağlar.