Robots.txt dosyasını kullanma

robots.txt, arama motoru robotları için site dizinleme parametrelerini içeren bir metin dosyasıdır. İçinde robots.txt, botların web sitesi sayfalarını dizinlemesini kısıtlayabilir, bu da sitenin yükünü azaltabilir ve performansını hızlandırabilir.

Not

robots.txt dosyasında kısıtlanan sayfalar Yandex arama sonuçlarında yer alabilir. Sayfaları aramadan kaldırmak için, sayfanın HTML kodunda noindex yönergesini belirtin veya HTTP üst bilgisini yapılandırın. Bu tür sayfaları robots.txt dosyası içinde kısıtlamayın, aksi takdirde Yandex botu bunları dizinleyemez ve talimatlarınızı algılayamaz. Ayrıntılar için Sayfaları aramadan nasıl hariç tutulur? bölümüne bakın.

Yandex, gelişmiş özelliklere sahip Robots Exclusion Protocol standardını destekler.

robots.txt dosyasına yönelik gereksinimler

Yandex robotları, şu durumlarda robots.txt dosyasını doğru bir şekilde işler:

  • Dosya boyutu 500 KB’yi geçmez.

  • Dosya, "robots" adını taşıyan bir robots.txt dosyasıysa.

  • Dosya, sitenin kök dizininde bulunur.

  • Dosya, dizine ekleme botları tarafından erişilebilir:

    • Siteyi barındıran sunucu bir HTTP 200 OK durum kodu döndürür.
    • robots.txt dosyası, sunucunun 200 OK kodu döndürdüğü başka bir robots.txt dosyasına yönlendiriyorsa.

    Daha fazla bilgi için, bakınız Sunucu yanıt kontrolü.

    Yandex, bir sitede bulunan robots.txt dosyasından başka bir sitede bulunan dosyaya yönlendirmeyi destekler. Bu durumda, hedef dosyadaki yönergeler dikkate alınır. Bu yönlendirme, siteyi taşırken faydalı olabilir.

Dosya gereksinimleri karşılamıyorsa, site dizinlemeye açık kabul edilir.

Dosyanın içeriği hakkında öneriler

Yandex aşağıdaki yönergeleri destekler:

Yönerge

Ne işe yarar?

User‑agent *

Kuralların robots.txt içinde hangi robota uygulanacağını belirtir.

Disallow

Sitenin bölümlerinin veya bireysel sayfalarının taranmasını yasaklar.

Sitemap

Sitede yayınlanan Sitemap dosyasının yolunu belirtir.

Clean-param

Sayfa URL’sinin dizinlenirken göz ardı edilmesi gereken parametreler (örneğin UTM etiketleri) içerdiğini robota belirtir.

Allow

Site bölümlerinin veya bireysel sayfaların dizinlenmesine izin verir.

* Zorunlu yönerge.

En sık Disallow, Sitemap ve Clean-param yönergelerine ihtiyacınız olacaktır. Örneğin:

User-agent: * # yönergelerin hangi botlar için ayarlandığını belirtir
Disallow: /bin/ # "Alışveriş Sepeti" bağlantılarını engeller
Disallow: /search/ # sitenin yerleşik aramasından gelen bağlantıları engeller
Disallow: /admin/ # yönetici panelinden gelen bağlantıları engeller
Sitemap: http://example.com/sitemap # botu sitenin Sitemap dosyasına yönlendirir
Clean-param: ref /some_dir/get_book.pl

Diğer arama motorları ve hizmetlerin robotları, direktifleri farklı şekilde yorumlayabilir.

Not

Robot, alt dizelerin (dosya adı veya yol, robot adı) büyük/küçük harf duyarlılığını dikkate alır ve yönergelerin adlarındaki büyük/küçük harf duyarlılığını göz ardı eder.

Kiril karakterlerinin kullanımı

Robots.txt dosyasında ve sunucu HTTP üst bilgilerinde Kiril alfabesinin kullanımına izin verilmez.

Alan adları için Punycode kullanın. Sayfa adresleri için, mevcut site yapısının kodlamasıyla aynı kodlamayı kullanın.

Robots.txt dosyası örneği:

  • Yanlış:

    User-agent: Yandex
Disallow: /корзина
Sitemap: сайт.рф/sitemap.xml

  • Doğru:

    User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml

Robots.txt nasıl ayarlanır

  1. Metin düzenleyicide, robots.txt adlı bir dosya oluşturun ve içine ihtiyacınız olan yönergeleri ekleyin.
  2. Dosyayı kontrol edin Yandex Webmaster’da.
  3. Dosyayı sitenizin kök dizinine yerleştirin.

Örnek dosya. Bu dosya, tüm arama motorları için sitenin tamamının dizinlenmesine izin verir.

Sorular ve cevaplar

"Sunucu, /robots.txt isteğine yönlendirme ile yanıt veriyor" hatası Yandex Webmaster’daki Site tanılaması sayfasında görünür.

Yandex’in dizinleme botunun robots.txt dosyasına uymasını sağlamak için bu dosya sitenizin kök dizininde bulunmalı ve bir HTTP 200 kodu döndürmelidir. robots.txt dosyası başka bir robots.txt dosyasına yönlendiriyorsa (örneğin sitenizi taşıdığınızda) Yandex hedef dosyayı dikkate alır.

robots.txt dosyanızdaki yönergelerin istendiği gibi çalışması için dosyanın doğru bilgiler içerdiğinden emin olun. Dosyayı test etmek için, hedef siteyi Yandex Webmaster’a ekleyin ve site sahipliğinizi doğrulayın.

Robot için robots.txt dosyasının erişilebilirliğini kontrol etmek için, sunucu yanıtını kontrol edin.

Destek ile iletişime geçin



Ayrıca şuraya gidebilirsiniz:

Önceki
Siteyi taşıma
Sonraki
User-agent direktifi