Webmaster

Robots.txt analizcisi

Nasıl robots.txt denetimi yapılıyor?

Аnalizci, “robots.txt” alanında sitenizin kök dizininden otomatik olarak robots.txt dosyasını yükler.

“Denetle” düğmesine bastıktan sonra analizci, “robots.txt” alanının içeriğinde satır satır inceleme ve onların direktiflerini kapsayan bir analiz yapar. Ayrıca robotun “URL Listesi” bölümünde yazılı sayfalara girip girmeyeceğini öğrenebilirsiniz.

Kuralları düzenleyerek, sitenize uyan bir robots.txt dosyası oluşturabilirsiniz. Sitedeki dosyanın değişmeyeceğini unutmayın. Değişikliğin etkili olabilmesi için, siteye kendi kendinize robots.txt dosyasının güncellenen sürümünü yüklemeniz gerekir.

Yandex robotu için ayrılmış olan bölümlerde, (User-agent: Yandex veya User-agent:*) analizci robots.txt kullanım kurallarının ışığında direktifleri kontrol eder. Diğer bölümlerde ise denetim, standarda uygun olarak gerçekleşir. Dosya incelemesi esnasında analizci tespit edilen hataları bildirir ve yazılı kurallarda yer alan yanlışlara ilişkin uyarır; ayrıca Yandex robotu için ayrılmış olan dosya bölümlerini listeler. Analiz sonuçları “robots.txt analizi” sayfasının altında görüntülenir.

robots.txt analizi sırasında hatalar tespit edildi. Onların nedeni nasıl öğrenilebilir?

Analizciden alınabilecek iki mesaj türü bulunur: Hata ve uyarı mesajı.

Analizcinin herhangi bir satırı, parçayı ya da robots.txt dosyasının temel oluşumunda meydana gelmiş satır diziminde bulunan ciddi hatalardan dolayı tüm dosyayı çalıştırmasını engelleyen bir durum hata sayılmaktadır.

Uyarı genellikle analizcinin zorla kendi kendine düzelttiği kurallara ters düşen öğeleri bildirir ya da yazım hatası veya kural açıklamalarındaki yanlışlıkla bağlantılı olası problemleri (problem oluşacağı kesin değil) belirtir.

Neden analizci "Bu URL sizin etki alanınıza ait değil" hatası veriyor?

Genellikle URL listesinde sitenizin yansımalarından birinin adresi belirtilir. Örneğin: http://www.site.ru yerine http://site.ru (resmen iki farklı URL vardır). Denetlenen URL'nin robots.txt analizi yapılan siteye ait olması gerekmektedir.

Makaleyi değerlendirin
Geri bildiriminiz için teşekkür ederiz!