Bir robotun Yandex’e ait olduğunu nasıl kontrol ederim
Bazı robotlar, ilgili Kullanıcı Temsilcisini belirterek Yandex robotları gibi davranabilir. Bir robotun gerçekliğini ters DNS araması kullanarak kontrol edebilirsiniz.
Sadece şu adımları izleyin:
- Sunucu günlüklerinizi kullanarak söz konusu user-agent'ın IP adresini belirleyin.
- IP adresinin ters DNS sorgusunu kullanarak ana bilgisayar etki alanı adı belirleyin.
- Ana bilgisayarın Yandex’e ait olup olmadığını kontrol edin. Tüm Yandex robotlarının adları
yandex.ru,yandex.netveyayandex.comile biter. Ana bilgisayar adı farklı bir sonla bitiyorsa, robot Yandex’e ait değildir. - Adın doğru olduğundan emin olun. Ana bilgisayar adına karşılık gelen IP adresini almak için ileri DNS sorgusu kullanın. Ters DNS aramasında kullanılan IP adresi ile eşleşmelidir. IP adresleri eşleşmiyorsa, ana bilgisayar adı sahtedir.
Bir dizine ekleme botunun Yandex’e ait olup olmadığını kontrol etmek için IP adresi kontrolü aracını da kullanabilirsiniz.
Yandex robotları sunucu günlüklerinde
Bir dizi Yandex robotu, dizinleme dışında başka amaçlar için web belgeleri indirir. Site sahipleri tarafından yanlışlıkla engellenmemek için, robots.txt dosyasının tüm robotlar için (User-agent: *) geçerli olan kısıtlayıcı yönergelerini yok sayabilirler.
Ayrıca, Yandex ile site sahipleri arasında bir anlaşma varsa robotlar bazı siteler için robots.txt kısıtlamalarını yok sayabilir.
Not
Böyle bir robot, ana Yandex robotunun erişemediği bir belge indirirse, bu belge asla dizinlenmez ve arama sonuçlarında bulunmaz.
Bu tür robotların siteye erişimini kısıtlamak için, örneğin, onlara özel yönergeler kullanın:
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$
Botlar, çevrim dışı ağ olarak adlandırılan AS13238, AS208722 ve AS212066 ağlarının yanı sıra sık sık değişen IP adreslerini kullanır. Dolayısıyla, listeleri açıklanmaz.
Robot sayfaya eriştiğinde, sunucu günlüklerinizde User-agent ve siteyi taramak için kullanılan tarayıcı sürümü görünebilir. Örneğin, Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268.
Not
Tarayıcı sürümü değişebilir, bu yüzden sunucu günlüklerinde User-agent ararken sürümü belirtmemek önerilir.
|
Robotun tam adı, User-agent dahil |
Robotun amacı |
robots.txt |
|
Mozilla/5.0 (uyumlu; YandexAccessibilityBot/3.0; +http://yandex.com/bots) |
YandexAccessibilityBot, kullanıcılar için erişilebilirliklerini kontrol etmek amacıyla sayfaları indirir. Siteye saniyede 3 istek gönderir. Robot, Yandex Webmaster ayarını yok sayar. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexAdNet/1.0; +http://yandex.com/bots) |
Yandex Reklam Ağı robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBlogs/0.99; robot; +http://yandex.com/bots) |
Blog araması robotu, gönderi yorumlarını dizine ekler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) |
Ana dizinleme robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) |
Sitenin alternatif adreslerini belirler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexCalendar/1.0; +http://yandex.com/bots) |
Yandex Takvim robotu. Kullanıcı istekleriyle takvim dosyalarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
Hayır |
|
Mozilla/5.0 (compatible; YandexCheckBot/3.0; +http://yandex.com/bots) |
Farklı bölgelerdeki web sitelerinden sayfalar indirerek bunların kullanıcılar için erişilebilirliğini kontrol eder. İndeksleme istekleri yapmaz. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexDirect/3.0; +http://yandex.com/bots) |
Yandex Reklam ağı ortak sitelerinin içeriği hakkında bilgi indirir, konularını belirleyerek ilgili reklamları eşleştirir. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexDirectDyn/1.0; +http://yandex.com/bots) |
Dinamik afişler oluşturur. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexFavicons/1.0; +http://yandex.com/bots) |
Arama sonuçlarında görüntülemek için sitenin favicon dosyasını indirir. |
Hayır |
|
Mozilla/5.0 (uyumlu; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) |
Reklamların hedef sayfalarını indirir, erişilebilirliklerini ve konularını kontrol eder. Bu, arama sonuçlarında ve ortak sitelerde reklam yerleştirmek için gereklidir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş yönergeleri yok sayar. |
|
Mozilla/5.0 (uyumlu; YandexImages/3.0; +http://yandex.com/bots) |
Görüntüleri Yandex Görseller’de görüntülemek için dizine alır. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexImageResizer/2.0; +http://yandex.com/bots) |
Mobil cihazlar robotu. |
Evet |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1, Mac OS X benzeri) AppleWebKit/600.1.4 (KHTML, Gecko benzeri) Sürüm/8.0 Mobile/12B411 Safari/600.1.4 (uyumluluk; YandexMobileBot/3.0; +http://yandex.com/bots) |
Mobil cihazlar için uygun düzeni olan sayfaları tanımlar. |
Hayır |
|
Mozilla/5.0 (uyumluluk; YandexMarket/1.0; +http://yandex.com/bots) |
Yandex Market. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMarket/2.0; +http://yandex.com/bots) |
Hayır |
|
|
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) |
Multimedya verilerini dizinler. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots yabs01) |
Yandex Direct reklamlarının açılış sayfaları da dahil olmak üzere, sitelerin kullanılabilirliğini kontrol etmek için sayfa indirir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş yönergeleri yok sayar. |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots) |
Yandex Metrica robotu. |
Hayır |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/3.0; +http://yandex.com/bots) |
Hayır |
|
|
Mozilla/5.0 (uyumluluk; YandexMetrika/4.0; +http://yandex.com/bots) |
Yandex Metrica robotu. Site sayfalarını Webvisor'da oluşturmak için CSS stillerini indirir ve önbelleğe alır. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş yönergeleri yok sayar. |
|
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) |
Mobil sayfanın ekran görüntüsünü alır. |
Hayır |
|
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) |
bilgi kartı robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) |
bilgi kartı robotu, dinamik verileri indirir. |
Hayır |
|
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) |
Yapılandırılmış verileri doğrulamak için Yapılandırılmış veri doğrulayıcı sayfasına erişir. |
Evet |
|
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots) |
Yandex ortak sitelerinin içeriği hakkında bilgi indirir. |
Hayır |
|
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots) |
Önizlemeler oluşturmak için veri toplar. |
Hayır |
|
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1.0; +http://yandex.com/bots) |
JavaScript ile sayfa işlemek için kaynakları yükler. Bu kaynakların bulunduğu HTML sayfası Yandex botuna erişilebilir ise robots.txt içindeki talimatları görmezden gelir. Bot, bu kaynakların kullanıldığı HTML sayfaları |
Hayır |
|
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) |
Kullanıcıların talepleri doğrultusunda YML dosyalarında ürün kataloglarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
Hayır |
|
Mozilla/5.0 (uyumluluk; Yandex Site bağlantıları; Dyatel; +http://yandex.com/bots) |
Site bağlantıları olarak kullanılan sayfaların erişilebilirliğini kontrol eder. |
Evet |
|
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) |
Yandex Business robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots) |
Yandex hizmetlerindeki kullanıcı işlemleri için ara sunucu kullanır: düğme tıklamalarına yanıt olarak istekler gönderir, çevrimiçi çeviri için sayfaları indirir, vb. |
Hayır |
|
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) |
Dikey arama robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) |
Yandex Verticals (İlanlar) robotu: Auto.ru, Yandex Realty, Yandex İşler ve Yandex Yorumlar. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
Hayır |
|
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) |
Yandex Webmaster robotu. |
Evet |
|
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) |
Sayfanın ekran görüntüsünü alır. |
Hayır |
|
Sayfa içeriğinin Yazeka ile Arama yanıtlarında görünmesini engellemek için robots.txt'nin işlenmesine yardımcı olur. Birincil tarayıcı tarafından dizine eklenen sayfalar için geçerlidir. İndeksleme istekleri yapmaz. |
Hayır |
|
Mozilla/5.0 (compatible; YandexComBot/3.0; +http://ya.cc/bots) |
Rusça dışındaki dillerde arama için içerik dizine ekler. Belirli bir robot kısıtlaması yoksa içerik dizine ekleyebilir. |
Hayır |
* “W.X.Y.Z” Chrome tarayıcısının kullanıcı aracısının sürümü için bir yer tutucudur. Örneğin: 41.0.2272.96.
Sorular ve cevaplar
Sahte Yandex robotları gibi davranan sahte robotlardan nasıl korunabilirim?
Sahte robotlara karşı korunmak için yukarıda açıklandığı gibi ters DNS arama filtresini kullanın. Bu yöntem, Yandex iç ağlarındaki değişikliklere daha dayanıklı olduğu için IP adresleriyle erişimi yönetmekten daha tercih edilir.
Web sunucum ile robotunuz arasında çok fazla trafik gidip geliyor. Yandex sıkıştırılmış sayfaların indirilmesini destekliyor mu?
Evet, destekliyor. Yandex robotu bir sayfa talep ettiğinde şunu gönderir: “Accept-Encoding: gzip,deflate”. Bu, web sunucunuzu kurarak sunucu ile robotumuz arasındaki trafiği azaltabileceğiniz anlamına gelir. Ancak, sıkıştırılmış içerik göndermenin sunucunuzda CPU kullanımını artırdığını unutmayın. Eğer aşırı yüklenirse, sorunlara neden olabilir. Gzip ve deflate indirmeleri için, robot rfc2616 standardını, bölüm 3.5 uygular.