Alt alan adlarına sahip bir sitedeki iş yükü nasıl azaltılır
Yandex, alt alanları ayrı siteler olarak kabul eder, bu nedenle robot her alt alanı atlar. Bu nedenle sunucudaki yük birkaç kat artabilir.
Robot erişimlerinin sayısını azaltmak için sunucu günlüğünü analiz edin ve çoğu erişimin kaynağını belirleyin. Arama motorlarından ve diğer robotlardan geliyorlarsa, büyük olasılıkla ana etki alanının içeriği ziyaretçilerin zorluklarını çözmek için yeterlidir. Bu durumda, alt alan adlarının yapısını gözden geçirebilir ve muhtemelen bunları terk edebilir veya ana sitenin bölgesel bölümleriyle değiştirebilirsiniz.
Ayrıca sunucuyu yanıt verecek şekilde yapılandırabilirsiniz HTTP kodu 429. Böyle bir cevap, sunucunun yükte zorluk çektiğini gösterecektir — Yandex robotu erişim sayısını azaltacaktır. Veya kendi başınıza site tarama hızını değiştirme.