Kullanıcı aracısı yönergesi

Dosyada robots.txt robot, aşağıdakilerle başlayan kayıtları kontrol eder User-agent:, alt dizeleri hesaba katarlar Yandex (kayıt önemli değil) veya *. Bir dize algılanırsa User-agent: Yandex, sonra dize User-agent: * sayılmaz. Eğer satırlar User-agent: Yandex ve User-agent: * eksik, robota erişimin sınırlı olmadığına inanılıyor.

Yandex robotlarına ayrı direktifler belirtilebilir. Robotların onları nasıl hesaba kattığı için bkz. Sunucu günlüklerinde Yandex robotları.

Robota özgü yönergeler bulunursa, User-agent: Yandex ve User-agent: * kullanılmazlar.

Örnek:

User-agent: YandexBot # yalnızca ana indeksleme robotu tarafından kullanılacaktır
Disallow: /*id=

User-agent: Yandex # tüm Yandex robotları tarafından kullanılacaktır
Disallow: /*sid= # ana indeksleyici hariç

Kullanıcı aracısı: * # Yandex robotları tarafından kullanılmayacaktır
Disallow: /cgi-bin

Standarda uygun olarak, her Kullanıcı aracısı yönergesinden önce boş bir satır beslemesi eklemeniz önerilir. Sembol # yorumları açıklamak için tasarlanmıştır. Bu karakterden sonra ve ilk satır beslemesinden önce olan her şey dikkate alınmaz. Ayrıntılı olarak bkz. Sembol işleme #.

Not

Yandex Robotları kayıtları satırdaki varlığa göre vurgulayabilirler User-agent:.

Destek ekibine yazın



Ayrıca hizmete yükseltebilirsiniz