Yazeka
Arama sonuçlarına göre oluşturuldu
Robots.txt dosyası şu şekilde olmalıdır:
- Dosya Adı ve Uzantı: Dosyanın adı tam olarak "robots.txt" olarak belirtilmeli ve herhangi bir uzantı eklenmemelidir 13.
- Konum: Dosya, web sitesinin kök dizinine yerleştirilmelidir (örneğin,
www.ornekdomain.com/robots.txt
) 14. - İçerik: Dosyanın içeriği, "User-agent" ve "Disallow" gibi komutları kullanarak arama motorlarının tarama davranışlarını kontrol eder 13. Örnek bir içerik şu şekilde olabilir:
User-agent: * Disallow: /admin/ Sitemap: https://www.ornekdomain.com/sitemap.xml
- Yorumlar: Dosyaya "# " ile başlayarak yorumlar eklenebilir 1.
5 kaynaktan alınan bilgiyle göre: