Webmaster

Robotun Yandex'e ait olduğunu nasıl anlayabilirsiniz

Bazı robotlar, ilgili user-agent'ı belirtmek suretiyle, Yandex robotlarını taklit ederek kendilerini gizleyebilirler. Robotun, kendini tanıttığı gibi olup olmadığını, ters DNS sorgularına (reverse DNS lookup) dayalı tanımlama kullanarak denetleyebilirsiniz.

Bunun için aşağıdakilerin uygulanması gerekir:

  • Sunucunuzun günlüklerine göre, ilgili user-agent için IP adresini belirleyin. Tüm Yandex robotları belirtilen user-agent yardımıyla kendini gösterir.

  • Ters DNS sorgusu kullanarak, alınan IP adresinden ana bilgisayarın etki alanı adını belirleyin.

  • Ana bilgisayarın adı belirlendikten sonra, Yandex'e ait olup olmadığını kontrol edebilirsiniz. Tüm Yandex robotlarının adları 'yandex.ru', 'yandex.com' veya 'yandex.net' ile biter. Ana bilgisayar adında başka bir sonek varsa, robotun Yandex'e ait olmadığı anlamına gelir.

  • Son olarak, alınan adların doğruluğundan emin olun. Bunun için, ana bilgisayar adına ilişkin IP adresini almak amacıyla doğrudan DNS sorgusu (forward DNS lookup) kullanmak gerekir. Ters DNS sorgusunda kullanılan IP adresiyle uyuşmalıdır. IP adresleri birbirini tutmuyorsa, alınan ana bilgisayar adı sahte demektir.

Sunucu loglarda robot nasıl görünür

Yandex'in, farklı şekillerde kendini gösteren birkaç robotu vardır:

  • Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — ana indeksleme robotu;

  • Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots) — indeksleme robotu;
  • Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots) — kullanıcıların erişimine açık olup olmaması kontrolü amacıyla sayfaları indirir ve, robots.txt’yi özel bir şekilde yorumlar;
  • Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)Yandex.Görsel düzenleyicisi;

  • Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) — sayfa görüntüsünü alan bir Yandex robotu olup, robots.txt dosyasını özel bir şekilde yorumlar.
  • Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)Yandex.Video düzenleyicisi;

  • Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)Yandex.Video düzenleyicisi, robots.txt dosyasını özel bir şekilde yorumlar.
  • Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — multimedya verilerini düzenleyen robot;

  • Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — gönderilen yorumları indeksleyen blog araması robotu;

  • Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)— site simgelerini (favicon) indeksleyen robot;

  • Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)Yandex.Webmaster servisinin robotu;

  • Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)— “Mikro etiket doğrulayıcısı” formu kullanılarak mikro etiket doğrulaması yapılırken sayfaya erişim sağlayan robot;

  • Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — mobil servislerin robotu;

  • Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)Yandex.Direct robotu, Direct servisinde yer alan siteleri kontrol eder;

  • Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) — Yandex.Direct “denetleme robotu”. Moderasyon öncesinde duyurulardan gelen bağlantıların doğruluğunu kontrol eder;

  • Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) — Hızlı bağlantıları “denetleme robotu”. Hızlı bağlantılara eklenen sitelerin erişilebilirliğini kontrol eder;

  • Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — Yandex.Reklam Ağı robotu;

  • Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)Yandex.Metrica robotu, robots.txt dosyasını özel bir şekilde yorumlar;

  • Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)Yandex.Haberler robotu;

  • Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) — Yandex.Haberler “denetleme robotu”. Haberler servisindeki bağlantıları kontrol eder;

  • Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — Yandex.Katalog denetleme robotu. Katalog'da erişilmeyen sitelerin geçici olarak kaldırılması için kullanılır;

  • Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — sayfalarda zararlı kodların varlığını denetleyen antivirüs robotu;

  • Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) — Yandex.Market robotu;

  • Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) — dikey arama robotu;

  • Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) — Yandex.Takvim robotu, diğer takvimler ile eşitleme için kullanılır, robots.txt tarafından geri çevrilebilir;

  • Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) — site aynası belirleme robotu;
  • Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots)Yandex.Başvuru robotu.

Yandex robotunun “çıkış noktası” olan IP adreslerinin sayısı çok fazladır ve bu adresler değişebilir. Bu nedenle, adreslerin listesini açıklamıyoruz ve robot IP adreslerini temel alan filtreler kullanılmasını önermiyoruz.

Makaleyi değerlendirin
Geri bildiriminiz için teşekkür ederiz!