Kullanıcı aracısı yönergesi
Dosyada robots.txt
robot, aşağıdakilerle başlayan kayıtları kontrol eder User-agent:
, alt dizeleri hesaba katarlar Yandex
(kayıt önemli değil) veya *
. Bir dize algılanırsa User-agent: Yandex
, sonra dize User-agent: *
sayılmaz. Eğer satırlar User-agent: Yandex
ve User-agent: *
eksik, robota erişimin sınırlı olmadığına inanılıyor.
Yandex robotlarına ayrı direktifler belirtilebilir. Robotların onları nasıl hesaba kattığı için bkz. Sunucu günlüklerinde Yandex robotları.
Robota özgü yönergeler bulunursa, User-agent: Yandex
ve User-agent: *
kullanılmazlar.
Örnek:
User-agent: YandexBot # yalnızca ana indeksleme robotu tarafından kullanılacaktır
Disallow: /*id=
User-agent: Yandex # tüm Yandex robotları tarafından kullanılacaktır
Disallow: /*sid= # ana indeksleyici hariç
Kullanıcı aracısı: * # Yandex robotları tarafından kullanılmayacaktır
Disallow: /cgi-bin
Standarda uygun olarak, her Kullanıcı aracısı yönergesinden önce boş bir satır beslemesi eklemeniz önerilir. Sembol #
yorumları açıklamak için tasarlanmıştır. Bu karakterden sonra ve ilk satır beslemesinden önce olan her şey dikkate alınmaz. Ayrıntılı olarak bkz. Sembol işleme #.
Not
Yandex Robotları kayıtları satırdaki varlığa göre vurgulayabilirler User-agent:
.