WordPress'te Bot Yönetimi: Eklentisiz robots.txt ve Güvenlik Ayarları

WordPress, dünya genelinde web sitelerinin büyük bir bölümünü oluşturmaktadır ve bu popülerlik onu botlar için de birincil hedef haline getirir. WordPress varsayılan olarak sanal bir robots.txt dosyası oluşturur, ancak bu dosya çoğu site için yeterli değildir. Bu rehberde eklenti kullanmadan robots.txt dosyanızı nasıl özelleştireceğinizi ve bot trafiğini nasıl yöneteceğinizi anlatıyoruz.

WordPress'in Varsayılan robots.txt Dosyası

WordPress, fiziksel bir robots.txt dosyası olmadığında otomatik olarak sanal bir robots.txt oluşturur. Bu varsayılan dosya oldukça basittir ve genellikle yalnızca wp-admin dizinini engeller, wp-includes dizinindeki belirli dosyalara izin verir ve sitemap adresini belirtir.

Bu varsayılan yapılandırma temel düzeydedir ancak birçok dizin ve dosya türünü açıkta bırakır. AI botları, gereksiz parametreli URL'ler ve hassas dizinler için ek kurallar gereklidir.

Fiziksel robots.txt Dosyası Oluşturma

WordPress'in sanal robots.txt dosyasını geçersiz kılmak için sitenizin kök dizinine fiziksel bir robots.txt dosyası yerleştirmeniz yeterlidir. FTP veya dosya yöneticisi aracılığıyla wp-config.php dosyasının bulunduğu dizine robots.txt adında yeni bir dosya oluşturun.

Önerilen bir WordPress robots.txt yapısı şöyledir: Tüm botlar için wp-admin, wp-includes, wp-content/plugins, wp-content/cache ve wp-content/themes dizinlerini engelleyin. Ayrıca arama ve sayfalama URL'lerini de engellemeyi düşünebilirsiniz. XML Sitemap adresinizi de eklemeyi unutmayın.

AI botlarını engellemek istiyorsanız, GPTBot, ClaudeBot, CCBot, Bytespider ve Google-Extended için ayrı bloklar ekleyin. Her biri için Disallow: / kuralı tanımlayarak tüm siteyi engellemiş olursunuz.

.htaccess ile Bot Engelleme

WordPress siteleri genellikle Apache sunucusu üzerinde çalıştığından, .htaccess dosyası güçlü bir bot yönetim aracıdır. robots.txt'den farklı olarak .htaccess kuralları zorunludur; botlar bu kuralları atlayamaz.

.htaccess dosyanıza RewriteEngine kuralları ekleyerek belirli user-agent dizelerini engelleyebilirsiniz. RewriteCond ile HTTP_USER_AGENT değişkenini kontrol ederek GPTBot, ClaudeBot veya diğer istenmeyen botları 403 durum koduyla geri çevirebilirsiniz.

Ayrıca belirli IP aralıklarını engellemek için Deny from yönergesini kullanabilirsiniz. Bu yöntem, user-agent dizesini gizleyen botlara karşı etkilidir.

WordPress Güvenlik Ayarları

Bot yönetiminin yanı sıra WordPress sitenizi korumak için birkaç önemli adım atmalısınız. XML-RPC dosyasını devre dışı bırakın; bu dosya botlar tarafından sıklıkla brute force saldırıları için kullanılır. .htaccess dosyanızda xmlrpc.php dosyasına erişimi engelleyebilirsiniz.

wp-login.php sayfasına yapılan bot saldırılarını azaltmak için giriş sayfasına IP bazlı erişim kısıtlaması ekleyebilirsiniz. Ayrıca REST API erişimini sınırlandırarak botların site verilerinizi kolayca çekmesini engelleyebilirsiniz.

WordPress sürüm numarasını gizlemek de önemli bir güvenlik önlemidir. Botlar eski WordPress sürümlerini tespit ederek bilinen güvenlik açıklarını hedef alabilir. functions.php dosyanıza eklenen birkaç satır kod ile sürüm numarasını HTML çıktısından kaldırabilirsiniz.

wp-content/uploads dizininde PHP çalıştırılmasını engellemek, zararlı dosya yükleme saldırılarına karşı koruma sağlar. Bu dizindeki .htaccess dosyasına PHP çalıştırma yasağı ekleyebilirsiniz.

Performans Optimizasyonu

Agresif bot trafiği WordPress sitenizin performansını ciddi şekilde etkileyebilir. Önbellek mekanizması kurmak, hem kullanıcı deneyimini iyileştirir hem de bot trafiğinin sunucu üzerindeki yükünü azaltır. Hız sınırlandırma (rate limiting) uygulayarak belirli bir IP adresinden gelen istek sayısını sınırlayabilirsiniz.

WordPress sitenizin erişim loglarını düzenli olarak kontrol edin. Hosting panelinizden veya doğrudan sunucu loglarından bot trafiğini izleyerek anormal davranışları tespit edin. Özellikle wp-cron.php, admin-ajax.php ve feed URL'lerine yapılan yoğun bot isteklerini takip edin.

Sonuç olarak WordPress'te etkili bot yönetimi, robots.txt, .htaccess kuralları ve sunucu düzeyinde güvenlik önlemlerinin birlikte kullanılmasıyla sağlanır. Eklentiye gerek kalmadan bu temel adımları uygulayarak sitenizin güvenliğini ve performansını önemli ölçüde artırabilirsiniz.