Meta etiketi robots ve X-Robots-Tag HTTP başlığı
Robotlara sitenin belirli sayfalarını yükleme ve dizine ekleme kurallarını şu yollardan biriyle belirtebilirsiniz:
- meta etiketi yaz
robotsBir öğedeki sayfanın HTML kodunda
head; - sunucunuzdaki belirli bir URL için X-Robots-Tag HTTP başlığını yapılandırın
sitenin.
Not
Sayfa yasaklanmışsa robotlar dosyasında.txt, bu meta etiket veya başlık yönergesi geçerli değildir.
Varsayılan olarak, meta etiket ve başlık tarayıcılar tarafından sayılır. Yapabilirsin belirli robotlar için direktifleri belirtin.
Yandex tarafından desteklenen direktifler
|
Yönerge |
Açıklama |
Robotlar meta etiketi |
X-Robots-Tag başlığı |
|
|
Sayfa metnini dizine eklemeyin. Sayfa arama sonuçlarına katılmayacaktır. |
|
|
|
|
Sayfadaki bağlantılara tıklamayın. Robot, siteyi atlarken bağlantıları takip etmeyecektir, ancak bunlar hakkında başka kaynaklardan bilgi edinebilir. Örneğin, diğer sayfalarda veya sitelerde. |
|
|
|
|
Direktiflere uygundur |
|
|
|
|
Arama sonuçlarında kayıtlı kopyanın bağlantısını göstermeyin. |
|
|
|
|
Otomatik olarak oluşturulan açıklamayı kullanmayın. |
|
— |
|
|
İlgili yasaklayıcı direktiflerin yürürlükten kaldırılması. |
|
— |
|
|
Direktiflere uygundur |
|
— |
İzin veren direktifler robot tarafından varsayılan olarak kullanılır, bu nedenle başka direktif yoksa bunlar belirtilmeyebilir. Yasaklayıcı direktiflerle birleştirildiğinde, izin verenlerin önceliği vardır. Örnek.
Diğer arama motorlarının ve hizmetlerinin robotları direktifleri farklı şekilde yorumlayabilir.
Örnek:
Sayfanın dizine eklenmesini yasaklayan bir giriş.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>
Başlığın sayfanın dizine eklenmesini yasakladığı HTTP yanıtı.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Birkaç direktifin belirtilmesi
Direktifleri virgülle ayırarak belirtebilirsiniz.
<meta name="yandex" content="noindex, nofollow" />
Tek bir yanıtta birden çok başlığı iletebilir ve direktifleri virgülle ayırabilirsiniz.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
Yandex robotu için çelişkili direktifler belirtilmişse, pozitif değeri dikkate alacaktır. Meta etiket yönergelerine sahip örnek:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Robot all değerini seçecek, metin ve bağlantılar dizine eklenecektir.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Metin ve bağlantılar dizine eklenecek, ancak arama sonuçlarında bağlantı olmayacak
sayfanın kaydedilmiş bir kopyasına.-->
Belirli robotlar için talimatlar
Meta etiketi kullanarak yalnızca Yandex robotları için yönergeyi belirtebilirsiniz robots. Örnek:
<meta name="yandex" content="noindex" />
Yandex robotları için genel direktifleri ve direktifleri listelerseniz, arama motoru tüm talimatları dikkate alacaktır.
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />
Yandex robotu bu tür direktifleri şu şekilde algılayacaktır: noindex, nofollow.
Destek ekibine yazın
Ayrıca hizmete yükseltebilirsiniz
