Baiduspider

Baiduspider, Çin'in en büyük arama motoru Baidu tarafından işletilen web tarayıcısıdır. Baidu, Çin'de %70'in üzerinde pazar payıyla baskın arama motoru konumundadır ve Baiduspider bu devasa arama motorunun dizinini besleyen temel araçtır. İlk olarak 2004 yılında tespit edilen Baiduspider, başlangıçta ağırlıklı olarak Çince içerikleri tarasa da zamanla küresel ölçekte web taraması yapmaya başlamıştır.

Baiduspider, robots.txt dosyasına genel olarak uyum sağlar ancak geçmişte agresif tarama davranışı nedeniyle eleştirilmiştir. Bazı web sitesi yöneticileri, Baiduspider'ın tarama hızının sunucu kaynaklarını aşırı tükettiğini raporlamıştır. Bu nedenle Çin pazarını hedeflemeyen siteler için Baiduspider'ı engellemek yaygın bir uygulamadır.

Baidu, Baiduspider'ın birden fazla varyantını kullanır: Baiduspider (ana tarayıcı), Baiduspider-image (görsel tarama), Baiduspider-video (video tarama) ve Baiduspider-news (haber tarama). Her birini robots.txt'te ayrı ayrı yönetebilirsiniz.

Çin pazarına yönelik içerik üreten web siteleri için Baiduspider erişiminin açık olması zorunludur. Baidu Webmaster Tools üzerinden sitenizi kaydedebilir, sitemap gönderebilir ve tarama sorunlarını izleyebilirsiniz. Çin'in internet düzenlemeleri nedeniyle, Çin dışından erişilen sitelerin Baidu'da iyi sıralanması ek optimizasyon gerektirebilir. Baiduspider'ın IP adreslerini doğrulamak için reverse DNS sorgulama kullanılabilir.