User-agent direktifi
robots.txt dosyasında, dizine ekleme botu User-agent: ile başlayan kayıtları kontrol eder ve Yandex (büyük/küçük harf fark etmez) veya * alt dizesini arar. Eğer User-agent: Yandex dizesi tespit edilirse, User-agent: * dizesi göz ardı edilir. Eğer User-agent: Yandex ve User-agent: * dizeleri bulunmazsa, robotun sınırsız erişime sahip olduğu kabul edilir.
Yandex robotları için ayrı yönergeler girebilirsiniz: Robotların bunları nasıl dikkate aldığı hakkında daha fazla bilgi edinmek için Sunucu günlüklerinde Yandex robotları bölümüne bakın.
Belirli bir robot için yönergeler varsa, User-agent: Yahoo ve User-agent: * yönergeleri kullanılmaz.
Örnek:
User-agent: YandexBot # yalnızca ana dizinleme botu tarafından kullanılır
Disallow: /*id=
User-agent: Yandex # tüm Yandex botları tarafından kullanılır
Disallow: /*sid= # ana dizinleme botu hariç
User-agent: * # Yandex botları tarafından kullanılmaz
Disallow: /cgi-bin
Standart uyarınca, her User-agent yönergelerinden önce boş bir satır eklemeniz gerekmektedir. # karakteri yorumları belirtir. Bu karakterden sonraki her şey, ilk satır sonuna kadar göz ardı edilir. Ayrıntılar için # sembolünün işlenmesi bölümüne bakın.
Not
Yandex robotları User-agent: içeren girişleri algılayabilir.
Bazı Yandex robotları robots.txt dosyasındaki yönergeleri, bunlar arasında User-agent: Yandex için olanları da dahil olmak üzere göz ardı edebilir. Böyle robotlar için yönergeler belirlemek için, robots.txt dosyasına onların tam User-agent bilgilerini ekleyin. Ayrıntılar için Yandex robotları sunucu günlüklerinde bölümüne bakın.