Webmaster

Robotun çalışmasıyla ilgili SSS

Sitem taşındı (URL değişti). Ne yapılmalı?

Yeni site bildirimi” formunu kullanarak yeni siteyi robota bildirin. Eski site ile yeni sitenin sayfaları arasında tek değerli eşleşme korunmuşsa, eski URL'den erişim durumunda sunucu tarafından 301 hatası ( “Moved Permanently” ) döndürülmesini ve Location alanının ilgili yeni site URL'sini belirtmesini sağlayın. Eski site kapatılmışsa, “URL Silme” formundan yararlanarak sitenin dizinden silinmesini hızlandırabilirsiniz.

Sunucuma aşırı yüklediniz. Lütfen, işlemi durdurun!

robots.txt dosyasının yardımıyla robotun davranışına etki edilebilir. Bu dosyada, Yandex robotu nun sunucuya çok iş yükleyen komut dosyalarına erişmesine yasaklama getirin veya Crawl-delay yönergesini kullanın.

Sunucumuzdan gizli bilgi indirmeye çalıştınız. Ne yapılmalı?

Robot, bağlantıları diğer sayfalardan alır ve bu da, herhangi bir sayfada sitenizin gizli bölümlerinin bağlantılarının gösterildiği anlamına gelir. Bunları parolayla devre dışı bırakabileceğiniz gibi, robots.txt dosyasında Yandex robotu için yasaklama da belirtebilirsiniz. Her iki durumda da robot gizli bilgileri indirmez.

Yandex robotu gibi görünmeye çalışan sahte robotlardan nasıl korunabilirim?

Kendilerini Yandex robotları gibi gösteren dolandırıcı robotlardan korunmak isterseniz, ters DNS sorgularına dayalı filtreleme kullanabilirsiniz. Bu yöntem, Yandex'in dahili ağlarındaki değişikliklere karşı daha kararlı olması nedeniyle, IP adreslerine dayalı erişim yönetimine kıyasla daha çok tercih edilir.

Sunucumun last-modified gösterilmesi önemli mi? Bu parametreyi değiştirmeye çalıştım, fakat başaramadım.

Sunucu, belgenin son değişiklik (last-modified) tarihini vermese bile, siteniz dizinlenir. Ancak, bu durumda aşağıdakilerin göz önünde bulundurulması gerekir:

  • Arama sonuçlarında, sitenizin sayfalarının yanında tarih bilgisi gösterilmeyecektir;

  • Tarihe göre sıralama yapılırken, kullanıcıların çoğu siteyi göremeyecektir;

  • Robot, site sayfasının son dizinlendiği andan itibaren güncellenip güncellenemediği bilgisini alamayacaktır. Robotun bir uğrayışta siteden aldığı sayfa sayısı sınırlı olduğundan, değişen sayfalar daha seyrek dizinlenecektir.

Sunucumun kodlamayı göstermemesi önemli mi? Ayarlamaya çalıştım, fakat başaramadım.

Yandex robotu belgelerin kodlamasını belirleme konusunda başarılı olduğundan, sunucu başlıklarında kodlama bulunmaması sitenin dizinlenmesini engellemez.

Sitede çerçeveler kullanıldı. Yandex arama sonuçlarında iç çerçevelere link vermekte. Bu durumda, başka çerçevede olduğu için, tüm navigasyona ulaşılamıyor. Neler yapılabilir?

Bu sorun JavaScript kullanılarak çözülmeye çalışılabilir. Sayfa yüklenmeden önce, gezinti öğelerini içeren üst çerçevenin açık olup olmadığı kontrol edilmeli ve kapalıysa açılmalıdır.

Robotunuz ve web sunucum arasındaki trafik hacmi çok yüksek. Sıkıştırılmış sayfa yüklemesi destekleniyor mu?

Evet, var. Yandex arama robotu her sayfa sorgusunda şunu belirtir: “Accept-Encoding: gzip,deflate” . Bu, web sunucunuzu uygun şekilde yapılandırdıktan sonra, sunucu ile robotumuz arasındaki aktarım trafiği hacmini düşürebileceğiniz anlamına gelir. Ancak, içeriği sıkıştırılmış olarak aktarmanın sunucunuzun CPU birimi üzerindeki yükü arttırdığını ve sunucunun aşırı yüklenmesi durumunda da sorunlar ortaya çıkabileceğini unutmamak gerekir. gzip ve deflate desteği sağlayan robot rfc2616 standardı, bölüm 3.5 ile uyumludur.

Robotunuz sitemin sayfalarını çalışmayan linklerle yüklemeye çalışıyor. Neden?

Robot, bağlantıları diğer sayfalardan alır. Bu da, sayfalardan birinde sitenizin bağlantısının yanlış gösterildiği anlamına gelir. Sitenin yapısını değiştirmiş olabilirsiniz ve diğer web sayfalarında bulunan bağlantılar geçerliliğini yitirmiş olabilir.

Redirect olan sayfada robotunuz ne yapacak? Refresh kullanılıyorsa ne yapacak??

Yandex robotu, yanıt başlığında ilgili URL'nin yeniden yönlendirme (3xx kodu) olduğu bilgisini aldığında, yeniden yönlendirmenin götürdüğü adresi dolaşım adres listesine ekler. Yeniden yönlendirmenin kalıcı (301 kodu veya sayfada refresh yönergesi bulunması) olması durumunda, eski URL dolaşım listesi dışında bırakılır.

Sayfam sürekli arama sonuçlarından çıkartılıyor. Neden?

Sayfaya erişim sırasında zaman zaman hata oluyorsa (örneğin, barındırma hizmetinin istikrarsızlığı nedeniyle), robot bir sonraki başarılı erişime kadar bu sayfayı arama sonuçlarından kaldırır.

Revisit-After direktifiyle tekrar indekslenme sıklığını kontrol etmek mümkün mü??

Hayır. Yandex robotu bu yönergeyi yoksayar.

İdekslenme sırasında hangi protokoller desteklenir?

Yandex şu an için iki protokolü desteklemektedir: HTTP ve HTTPS.

URL sonunda özellikle "/" işareti olan veya olmayan sayfaları robot indeksleyebilir mi?

Url'nin sonunda "/" simgesi bulunan ve bulunmayan siteler, robotumuza göre farklı sayfalar olarak algılanır. Bu siteler aynı içeriğe sahipse, bir sayfadan diğerine 301 yeniden yönlendirme ayarlanması (bu işlemi htaccess dosyasındaki ayarlarla yapabilirsiniz) veya kurallı url belirtilmesi daha uygun olur.

Neden robotunuz varolmayan sayfaları/alt domainleri indekslemeye çalıştı?

Muhtemelen robot bir yerlerde bağlantılarını bulmuş ve dizinlemeyi denemiştir. Robotun yalnızca yararlı site sayfalarını dizinlemesi için, varolmayan alt etki alanları ve sayfalar erişime kapalı olmalı ya da 404 hata kodunu döndürmelidir.

Makaleyi değerlendirin
Geri bildiriminiz için teşekkür ederiz!