Web sitesindeki veya sunucudaki iş yükü nasıl azaltılır

İndeksleme robotu, sitenin kaç yeni veya halihazırda dizine eklenmiş sayfasının atlanması gerektiğine bağlı olarak site veya sunucudaki yükü otomatik olarak ayarlayarak site sayfalarını ziyaret etmeyi bağımsız olarak planlar.

Bazen, örneğin robot sitenin yeni bir bölümünü öğrenmişse veya sayfaların yapısı ve adresleri değişmişse, robotun erişimlerinin sayısı önemli ölçüde artabilir.

Robotun siteye erişimindeki artışın nedenini anlamak için:

  1. Robot tarafından yüklenen sayfa sayısını ve aramaya katılan sayfaları kontrol edin. Bunu yapmak için sayfadaki Web Yöneticisine gidin Sitelerim. Yüklenen sayfa sayısı aramadaki sayfa sayısından çok fazlaysa, robot muhtemelen sitede aynı türden çok sayıda sayfa bulur, sayfa çekimlerinin dizine eklenmemesi gereken.

  2. Sayfasında İndeksleme → Tarama istatistikleri Robotun son zamanlarda hangi sayfalara eriştiğine bakın. Bu bilgileri sunucu günlüklerinde de bulabilirsiniz.

    GET parametrelerine sahip sayfalara dikkat edin. Muhtemelen aynı içeriği içeriyorlar. Örneğin, sitede dizine göre filtreler varsa, sayfalar bir tür parametresi içerebilir ?price=1000&max_price=1000000. Veya sitede bir arama varsa, — ?search=<arama ifadesi>.

    Robot, farklı adreslere sahip ancak aynı içeriğe sahip sayfaları atlasa da arama sonuçlarına katılamazlar.

  3. Yönergeyi ekleyin Clean-param dosyaya robots.txt. Robotu kopyalar arasında istenen URL'ye yönlendirmenize olanak tanır — yük yavaş yavaş azalacaktır. Yönerge ayrıca, birikmiş metriklerin bir kısmını ana URL'ye veya siteye aktarmayı mümkün kılar.

    Yükü robottan hızlı bir şekilde çıkarmak için yönergeyi ekleyin Disallow dosyaya robots.txt. Robot, dosyada değişiklik yapıldıktan sonraki bir gün içinde belirtilen sayfalara erişmeyi durduracaktır.

Yükün gereksiz sayfalarla ilgili olmadığını düşünüyorsanız, sunucuyu yanıt verecek şekilde yapılandırabilirsiniz HTTP kodu 429. Böyle bir cevap, sunucunun yükte zorluk çektiğini gösterecektir — Yandex robotu erişim sayısını azaltacaktır. Veya kendi başınıza site tarama hızını değiştirme.

Daha fazla bilgi edinin

Destek ekibine yazın



Ayrıca hizmete yükseltebilirsiniz