Buradasın
Robots txt dosyası olmazsa ne olur?
Yazeka
Arama sonuçlarına göre oluşturuldu
Robots.txt dosyası olmazsa, arama motorları web sitesini tararken herhangi bir yönerge alamazlar ve bu nedenle tüm sayfaları tarayıp indeksleyebilirler 13.
Bu durum, web sitesi sahiplerinin bazı sayfaları veya klasörleri arama motorlarından gizlemek veya erişime kapamak istedikleri durumlarda sorun yaratabilir 1. Ayrıca, web sitesinin SEO performansı doğrudan etkilenmez, çünkü arama motorları robots.txt dosyasının olup olmamasından bağımsız olarak web sitesini tarar ve indeksler 1.
5 kaynaktan alınan bilgiyle göre: