Robots.txt dosyasını kullanma

Robots.txt arama motoru robotları için site dizinleme parametrelerini içeren bir metin dosyasıdır. İçinde robots.txt, botların web sitesi sayfalarını dizinlemesini kısıtlayabilir, bu da sitenin yükünü azaltabilir ve performansını hızlandırabilir.

Not

Kısıtlanan sayfalar robots.txt içinde Yandex aramasına katılabilir. Sayfaları aramadan kaldırmak için, sayfanın HTML kodunda noindex direktifini belirtin veya HTTP başlığını yapılandırın. Bu tür sayfaları robots.txt dosyası içinde kısıtlamayın, aksi takdirde Yandex botu bunları dizinleyemez ve talimatlarınızı algılayamaz. Ayrıntılar için Sayfaları aramadan nasıl çıkarılır bölümüne bakın.

Yandex, gelişmiş özelliklerle Robots Exclusion Protocol destekler.

Robots.txt dosyasına yönelik gereksinimler

Yandex robotları robots.txt dosyasını doğru bir şekilde işler, eğer:

  • Dosya boyutu 500 KB’yi geçmez.

  • "Robots" adında bir TXT dosyasıdır, robots.txt.

  • Dosya, sitenin kök dizininde bulunur.

  • Dosya endeksleme botları tarafından erişilebilir:

    • Siteyi barındıran sunucu bir HTTP 200 OK durum kodu döndürür.
    • robots.txt dosyası, sunucunun 200 OK kodu döndürdüğü başka bir robots.txt dosyasına yönlendirir.

    Daha fazla bilgi için, bakınız Sunucu yanıt kontrolü.

    Yandex, bir sitede bulunan robots.txt dosyasından başka bir sitede bulunan dosyaya yönlendirmeyi destekler. Bu durumda, hedef dosyadaki direktifler dikkate alınır. Bu yönlendirme, siteyi taşırken faydalı olabilir.

Dosya gereksinimleri karşılamıyorsa, site dizinlemeye açık kabul edilir.

Dosyanın içeriği hakkında öneriler

Yandex aşağıdaki direktifleri destekler:

Yönerge

Ne yapar

User‑agent*

Kuralların robots.txt içinde hangi robota uygulanacağını belirtir.

İzin verme

Sitenin bölümlerinin veya bireysel sayfalarının taranmasını yasaklar.

Site Haritası

Sitede yayınlanan Site haritası dosyasının yolunu belirtir.

Clean-param

Sayfa URL’sinin dizinlenirken göz ardı edilmesi gereken parametreler (örneğin UTM etiketleri) içerdiğini robota belirtir.

İzin Ver

Site bölümlerinin veya bireysel sayfaların dizinlenmesine izin verir.

Crawl-delay

Arama robotunun bir sayfayı yükledikten sonra başka bir sayfayı yüklemeye başlamadan önce beklemesi gereken minimum süreyi (saniye cinsinden) belirtir.

Bu direktif yerine Yandex Webmaster’da tarama hızı ayarını kullanmanızı öneririz.

* Zorunlu direktif.

En sık Disallow, Site haritası ve Clean-param direktiflerine ihtiyacınız olacaktır. Örneğin:

Kullanıcı Aracısı: * #direktiflerin hangi botlar için ayarlandığını belirtir
İzin Verme: /bin/ # “Alışveriş Sepetinden” bağlantıları yasaklar.
İzin Verme: /search/ # sitenin yerleşik aramasından bağlantıları yasaklar
İzin Verme: /admin/ # yönetici panelinden bağlantıları yasaklar
Site Haritası: http://example.com/sitemap # botu sitenin Site Haritası dosyasına yönlendirir
Clean-param: ref /some_dir/get_book.pl

Diğer arama motorları ve hizmetlerin robotları, direktifleri farklı şekilde yorumlayabilir.

Not

Robot, alt dizelerin (dosya adı veya yol, robot adı) büyük/küçük harf duyarlılığını dikkate alır ve direktiflerin adlarındaki büyük/küçük harf duyarlılığını göz ardı eder.

Kiril karakterlerinin kullanımı

Robots.txt dosyasında ve sunucu HTTP başlıklarında Kiril alfabesi kullanımı izin verilmez.

Alan adları için Punycode kullanın. Sayfa adresleri için, mevcut site yapısının kodlamasıyla aynı kodlamayı kullanın.

Robots.txt dosyası örneği:

#Yanlış:
Kullanıcı Aracısı: Yandex
İzin Verme: /alışveriş sepeti
Site Haritası: the website.com/sitemap.xml

#Doğru:
Kullanıcı Aracısı: Yandex
İzin Verme: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Site Haritası: http://xn--80aswg.xn--p1ai/sitemap.xml

Robots.txt nasıl ayarlanır

  1. Metin düzenleyicide, robots.txt adlı bir dosya oluşturun ve içine ihtiyacınız olan direktifleri ekleyin.
  2. Dosyayı kontrol edin Yandex Webmaster’da.
  3. Dosyayı sitenizin kök dizinine yerleştirin.

Örnek dosya. Bu dosya, tüm arama motorları için sitenin tamamının dizinlenmesine izin verir.

Sorular ve cevaplar

“Sunucu, /robots.txt isteğine yönlendirme ile yanıt veriyor” hatası Yandex Webmaster’daki “Site teşhisi” sayfasında oluşur

Yandex’in endeksleme botunun robots.txt dosyasına uymasını sağlamak için, bu dosya sitenizin kök dizininde bulunmalı ve bir HTTP 200 kodu döndürmelidir. Eğer robots.txt dosyası başka bir robots.txt dosyasına yönlendiriyorsa (örneğin, sitenizi taşıdığınızda), Yandex hedef dosyaya uyar.

robots.txt dosyanızdaki direktiflerin istenildiği gibi çalışması için, dosyanın doğru bilgi içerdiğinden emin olun. Dosyayı test etmek için, hedef siteyi Yandex Webmaster’a ekleyin ve site sahipliğinizi doğrulayın.

Robot için robots.txt dosyasının erişilebilirliğini kontrol etmek için, sunucu yanıtını kontrol edin.

Destek ile iletişime geçin



Ayrıca şuraya gidebilirsiniz:

Önceki
Ek sıralama sinyalleri
Sonraki
User-agent direktifi