Robots.txt analizi

Robots.txt analizi aracı, robots.txt dosyasının doğru olup olmadığını kontrol etmenize yardımcı olur. Dosya içeriğini girebilir, doğrulayabilir ve ardından robots.txt’ye kopyalayabilirsiniz.

Bu araç ayrıca dosyadaki değişiklikleri izlemenize ve belirli bir sürümünü indirmenize de yardımcı olur.

Dosyayı nasıl kontrol edeceğiniz

Site Yandex Webmaster’a eklendiyse ve site yönetim hakları doğrulandıysa

Dosya içeriği, site yönetim hakları doğrulanır doğrulanmaz Araçlar → Robots.txt analizi sayfasında görünür.

İçerik Robots.txt analizi sayfasında gösteriliyorsa, Kontrol Et tıklayın.

Site Yandex Webmaster’a eklenmediyse

1. Robots.txt analizi sayfasına gidin.
2. Kontrol edilecek site alanına, web sitenizin adresini girin. Örneğin, https://example.com.
3. simgesine tıklayın. robots.txt içeriği ve analiz sonuçları aşağıda gösterilecektir.

Yandex robotu için ayrılmış bölümlerde (User-agent: Yandex veya User-agent: *), doğrulayıcı direktifleri robots.txt kullanım şartlarına göre kontrol eder. Diğer bölümler standart ile karşılaştırılır.

Kontrolden sonra görebilirsiniz:

• Uyarılar. Kurallardan sapmayı rapor ederler ve araç tarafından düzeltilebilir. Uyarılar, yazım hataları veya direktiflerdeki yanlışlıklarla ilgili potansiyel bir sorunu da gösterir.
• Dosyadaki hatalar. Bu, aracın bir dizeyi, bölümü veya tüm dosyayı direktiflerdeki ciddi söz dizimi hataları nedeniyle işleyemediği anlamına gelir.

Daha fazla bilgi için Robots.txt ayrıştırma hataları bölümüne bakın.

Robotun belirli bir URL’yi tarayıp taramayacağını nasıl öğrenebilirim

robots.txt dosyanız Yandex Webmaster’a yüklendiğinde, Robots.txt analizi sayfası bir URL’lerin izinli olup olmadığını kontrol et bölümü gösterir.

1. URL listesi alanına kontrol etmek istediğiniz sayfanın adresini girin. URL’yi tamamen veya web sitesi kök dizinine göre göreceli olarak belirtebilirsiniz. Örneğin, https://example.com/page/ veya /page/.
2. Kontrol Et düğmesine tıklayın.

URL, Yandex botları tarafından dizinlemeye izin veriyorsa, yanında simgesi görünecektir. Aksi takdirde, adres kırmızı renkte vurgulanacaktır.

Dosya değişikliklerini nasıl takip edebilirim

Robots.txt dosyasındaki değişiklikleri zamanında öğrenmek için lütfen bildirimleri yapılandırın.

Yandex Webmaster dosyayı düzenli olarak güncellemeler için kontrol eder ve değişiklik tarihi ve saati ile birlikte sürümleri kaydeder. Bunları görmek için Araçlar → Robots.txt analizi sayfasına gidin.

Aşağıdaki tüm koşullar sağlandığında sürüm listesi gösterilir:

• Siteyi Yandex Webmaster’a eklediniz ve site yönetim haklarınızı doğruladınız.
• Yandex Webmaster, robots.txt dosyasındaki değişiklikler hakkında bilgiye sahiptir.

Şunları yapabilirsiniz:

Dosyanın mevcut ve önceki sürümlerini görüntüleyin

Robots.txt sürüm listesinde dosya sürümünü seçin. Aşağıdaki alan, robots.txt dosyasını ve ayrıştırma sonuçlarını gösterir.

Seçilen dosya sürümünü indirin

1. Robots.txt sürüm listesinde dosya sürümünü seçin.
2. İndir düğmesine tıklayın. Dosya cihazınıza TXT biçiminde kaydedilecektir.

Sorular ve cevaplar