Yazeka
Arama sonuçlarına göre oluşturuldu
Robots.txt dosyasını aktif etmek için aşağıdaki adımları izlemek gerekmektedir:
- Dosya Oluşturma: Notepad, TextEdit gibi bir metin düzenleyici kullanarak "robots.txt" adlı bir dosya oluşturun 12.
- Dosya Konumu: Oluşturduğunuz dosyayı web sitenizin ana dizinine yerleştirin, yani "example.com" gibi bir konumda bulunmalı 13.
- Kural Ekleme: Dosyaya arama motoru botlarının hangi bölgelere erişim izni veya yasağı olacağını belirten kurallar ekleyin 12. Örneğin,
User-agent: Googlebot
ile Google botlarına özel bir kural oluşturabilirsiniz 1. - Kaydetme ve Yükleme: Dosyayı kaydedip web sitenizin ana dizinine yükleyin 12.
- Test Etme: Tarayıcınızın adres çubuğuna "example.com" yazarak dosyanın doğru bir şekilde yüklenip yüklenmediğini kontrol edin 13.
5 kaynaktan alınan bilgiyle göre: