Bir robotun Yandex’e ait olduğunu nasıl kontrol ederim
Bazı robotlar, ilgili Kullanıcı Temsilcisini belirterek Yandex robotları gibi davranabilir. Bir robotun gerçekliğini ters DNS sorgusu kullanarak kontrol edebilirsiniz.
Sadece şu adımları izleyin:
- Sunucu günlüklerinizi kullanarak ilgili kullanıcı temsilcisinin IP adresini belirleyin.
- IP adresinin ters DNS sorgusunu kullanarak ana bilgisayar etki alanı adı belirleyin.
- Ana bilgisayarın Yandex’e ait olup olmadığını kontrol edin. Tüm Yandex robotlarının adları
yandex.ru,yandex.netveyayandex.comile biter. Ana bilgisayar adı farklı bir sonla bitiyorsa, robot Yandex’e ait değildir. - Adın doğru olduğundan emin olun. Ana bilgisayar adına karşılık gelen IP adresini almak için ileri DNS sorgusu kullanın. Bu, ters DNS sorgusunda kullanılan IP adresiyle eşleşmelidir. IP adresleri eşleşmiyorsa, ana bilgisayar adı sahtedir.
Yandex robotları sunucu günlüklerinde
Bir dizi Yandex robotu, dizinleme dışında başka amaçlar için web belgeleri indirir. Site sahipleri tarafından istemeden engellenmemek için, dosyanın keyfi robotlar için tasarlanmış kısıtlayıcı direktiflerini robots.txt (User-agent: *) göz ardı edebilirler.
Ayrıca, “Yandex” ile bu sitelerin sahipleri arasında bir anlaşma varsa, robotlar bazı siteler için robots.txt kısıtlamalarını göz ardı edebilir.
Not
Böyle bir robot, ana Yandex robotunun erişemediği bir belge indirirse, bu belge asla dizinlenmez ve arama sonuçlarında bulunmaz.
Bu tür robotların siteye erişimini kısıtlamak için, örneğin, onlara özel direktifler kullanın:
Kullanıcı temsilcisi: YandexCalendar
İzin verme: /
Kullanıcı temsilcisi: YandexMobileBot
İzin verme: /private/*.txt$
Botlar, sık sık değişen IP adresleriyle birlikte çevrimdışı ağ: AS13238 ve AS208722 kullanır. Dolayısıyla, listeleri açıklanmaz.
Robot sayfaya eriştiğinde, sunucu günlüklerinizde Kullanıcı Aracısı ve siteyi taramak için kullanılan tarayıcı sürümü görünebilir. Örneğin, Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, Gecko gibi) Chrome/81.0.4044.268.
Not
Tarayıcı sürümü değişebilir, bu yüzden sunucu günlüklerinde Kullanıcı Aracısı ararken sürümü belirtmemek önerilir.
|
Robotun tam adı, Kullanıcı temsilcisi dahil |
Robotun amacı |
robots.txt |
|
Mozilla/5.0 (uyumlu; YandexAccessibilityBot/3.0; +http://yandex.com/bots) |
YandexAccessibilityBot, kullanıcılar için erişilebilirliklerini kontrol etmek amacıyla sayfaları indirir. Siteye saniyede 3 istek gönderir. Robot, Yandex Webmaster ayarını göz ardı eder. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexAdNet/1.0; +http://yandex.com/bots) |
Yandex reklam ağı robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBlogs/0.99; robot; +http://yandex.com/bots) |
Blog araması robotu, gönderi yorumlarını endeksler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) |
Ana dizinleme robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) |
Sitenin ikincil aynalarını belirler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexCalendar/1.0; +http://yandex.com/bots) |
Yandex Takvim robotu. Kullanıcı istekleriyle takvim dosyalarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexDirect/3.0; +http://yandex.com/bots) |
Yandex Reklam ağı ortak sitelerinin içeriği hakkında bilgi indirir, konularını belirleyerek ilgili reklamları eşleştirir. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexDirectDyn/1.0; +http://yandex.com/bots) |
Dinamik afişler oluşturur. |
Hayır |
|
Mozilla/5.0 (uyumlu; YandexFavicons/1.0; +http://yandex.com/bots) |
Arama sonuçlarında görüntülemek için sitenin favicon dosyasını indirir. |
Hayır |
|
Mozilla/5.0 (uyumlu; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) |
Reklamların hedef sayfalarını indirir, erişilebilirliklerini ve konularını kontrol eder. Bu, arama sonuçlarında ve ortak sitelerde reklam yerleştirmek için gereklidir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (uyumlu; YandexImages/3.0; +http://yandex.com/bots) |
Yandex Görseller’de görüntülemek için resimleri endeksler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexImageResizer/2.0; +http://yandex.com/bots) |
Mobil cihazlar robotu. |
Evet |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1, Mac OS X benzeri) AppleWebKit/600.1.4 (KHTML, Gecko benzeri) Sürüm/8.0 Mobile/12B411 Safari/600.1.4 (uyumluluk; YandexMobileBot/3.0; +http://yandex.com/bots) |
Mobil cihazlar için uygun düzeni olan sayfaları tanımlar. |
Hayır |
|
Mozilla/5.0 (uyumluluk; YandexMarket/1.0; +http://yandex.com/bots) |
Yandex Market robotu. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMarket/2.0; +http://yandex.com/bots) |
Hayır |
|
|
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) |
Multimedya verilerini dizinler. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots yabs01) |
Yandex Direct reklamlarının açılış sayfaları da dahil olmak üzere, sitelerin kullanılabilirliğini kontrol etmek için sayfa indirir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots) |
Yandex Metrica robotu. |
Hayır |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/3.0; +http://yandex.com/bots) |
Hayır |
|
|
Mozilla/5.0 (uyumluluk; YandexMetrika/4.0; +http://yandex.com/bots) |
Yandex Metrica robotu. Site sayfalarını Webvisor içinde işlemek için CSS stillerini indirir ve önbelleğe alır. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) |
Mobil sayfanın ekran görüntüsünü alır. |
Hayır |
|
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) |
Yandex News robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) |
Nesne yanıt robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) |
Nesne yanıt robotu, dinamik verileri indirir. |
Hayır |
|
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) |
Yapılandırılmış verileri doğrulamak için Yapılandırılmış veri doğrulayıcı sayfasına erişir. |
Evet |
|
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots) |
Yandex ortak sitelerinin içeriği hakkında bilgi indirir. |
Hayır |
|
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots) |
Önizlemeler oluşturmak için veri toplar. |
Hayır |
|
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1.0; +http://yandex.com/bots) |
JavaScript ile sayfa işlemek için kaynakları yükler. Bu kaynakların bulunduğu HTML sayfası Yandex botuna erişilebilir ise robots.txt içindeki talimatları görmezden gelir. Bot, bu kaynakların kullanıldığı HTML sayfaları |
Hayır |
|
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) |
Kullanıcıların talepleri doğrultusunda YML dosyalarında ürün kataloglarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
Hayır |
|
Mozilla/5.0 (uyumluluk; Yandex Site bağlantıları; Dyatel; +http://yandex.com/bots) |
Site bağlantıları olarak kullanılan sayfaların erişilebilirliğini kontrol eder. |
Evet |
|
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) |
Yandex Business robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots) |
Yandex hizmetlerindeki kullanıcı işlemleri için ara sunucu kullanır: düğme tıklamalarına yanıt olarak istekler gönderir, çevrimiçi çeviri için sayfaları indirir, vb. |
Hayır |
|
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) |
Dikey arama robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) |
Yandex Dikeyler botu (İlanlar): Auto.ru, Yandex Emlak, Yandex İş İlanları, Yandex Yorumlar. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
Hayır |
|
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) |
Yandex Webmaster robotu. |
Evet |
|
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) |
Sayfanın ekran görüntüsünü alır. |
Hayır |
|
Mozilla/5.0 (compatible; YandexComBot/3.0; +http://ya.cc/bots) |
Rusça dışındaki dillerde arama için içerik endeksler. Belirli bir robot kısıtlaması yoksa içerik endeksleyebilir. |
Hayır |
* “W.X.Y.Z” Chrome tarayıcısının kullanıcı aracısının sürümü için bir yer tutucudur. Örneğin: 41.0.2272.96.
Sorular ve cevaplar
Sahte Yandex robotları gibi davranan sahte robotlardan nasıl korunabilirim?
Sahte robotlara karşı korunmak için yukarıda açıklandığı gibi ters DNS arama filtresini kullanın. Bu yöntem, Yandex iç ağlarındaki değişikliklere daha dayanıklı olduğu için IP adresleriyle erişimi yönetmekten daha tercih edilir.
Web sunucum ile robotunuz arasında çok fazla trafik gidip geliyor. Yandex sıkıştırılmış sayfaların indirilmesini destekliyor mu?
Evet, destekliyor. Yandex robotu her sayfa talep ettiğinde şunu söyler: “Accept-Encoding: gzip,deflate”. Bu, web sunucunuzu kurarak sunucu ile robotumuz arasındaki trafiği azaltabileceğiniz anlamına gelir. Ancak, sıkıştırılmış içerik göndermenin sunucunuzda CPU kullanımını artırdığını unutmayın. Eğer aşırı yüklenirse, sorunlara neden olabilir. Gzip ve deflate indirmeleri için, robot rfc2616 standardını, bölüm 3.5 uygular.
Ayrıca şuraya gidebilirsiniz:
