User-agent direktifi

robots.txt dosyasında, endeksleme botu Kullanıcı temsilcisi: ile başlayan kayıtları kontrol eder ve Yandex (büyük/küçük harf fark etmez) veya * alt dizesini arar. Eğer Kullanıcı temsilcisi: Yandex dizesi tespit edilirse, Kullanıcı temsilcisi: * dizesi göz ardı edilir. Eğer User-agent: Yandex ve User-agent: * dizeleri bulunmazsa, robotun sınırsız erişime sahip olduğu kabul edilir.

Yandex robotları için ayrı direktifler girebilirsiniz: Robotların bunları nasıl dikkate aldığı hakkında daha fazla bilgi edinmek için Sunucu günlüklerinde Yandex robotları bölümüne bakın.

Belirli bir robot için direktifler varsa, User-agent: Yahoo ve User-agent: * direktifleri kullanılmaz.

Örnek:

Kullanıcı temsilcisi: YandexBot # yalnızca ana endeksleme botu tarafından kullanılacaktır
İzin verme: /*id=

Kullanıcı temsilcisi: Yandex # tüm Yandex botları tarafından kullanılacaktır
İzin verme: /*sid= # ana endeksleme botu hariç

Kullanıcı temsilcisi: * # Yandex botları tarafından kullanılmayacaktır
İzin verme: /cgi-bin 

Standart uyarınca, her User-agent direktifinden önce boş bir satır eklemeniz gerekmektedir. # karakteri yorumları belirtir. Bu karakterden sonraki her şey, ilk satır sonuna kadar göz ardı edilir. Ayrıntılar için # sembolünün işlenmesi bölümüne bakın.