Yazeka
Arama sonuçlarına göre oluşturuldu
Robots.txt dosyasını göndermek için aşağıdaki adımları izlemek gerekmektedir:
- Dosya Oluşturma: Robots.txt dosyasını oluşturmak için herhangi bir metin düzenleyici kullanılabilir (örneğin, Notepad, TextEdit) 12. Dosya, UTF-8 kodlamasında olmalıdır 1.
- Kural Ekleme: Dosyaya, arama motoru botlarının hangi URL'leri tarayabileceğini belirten kurallar eklenir 12. Bu kurallar,
User-agent
,Allow
veDisallow
gibi komutları içerir 2. - Dosya Konumu: Robots.txt dosyası, web sitesinin kök dizinine yerleştirilmelidir (örneğin,
https://www.example.com/robots.txt
) 13. - Test Etme: Dosyanın doğru çalışıp çalışmadığını kontrol etmek için Google'ın Robots.txt Test Aracı kullanılabilir 23.
- Google'a Bildirim: Robots.txt dosyası güncellendiğinde, Google'ın önbelleğe aldığı kopyayı yenilemesi için herhangi bir işlem yapılmasına gerek yoktur; Google, tarayıcıları aracılığıyla dosyayı otomatik olarak bulur ve kullanır 1.
5 kaynaktan alınan bilgiyle göre: