Robots meta etiketi ve X-Robots-Tag HTTP başlığı
Belirli site sayfalarının yüklenmesi ve dizinlenmesi için robotlara kuralları aşağıdaki yollardan biriyle belirtebilirsiniz:
Robotsmeta etiketini sayfanın HTML kodununheadöğesinin içine yerleştirin.- Sitenizin sunucusundaki belirli bir URL için X-Robots-Tag HTTP başlığını yapılandırın.
Not
Sayfa robots.txt dosyasında yasaklanmışsa, meta etiket veya başlık direktifi geçerli olmaz.
Varsayılan olarak, arama robotları meta etiketi ve başlığı dikkate alır. Belirli robotlar için direktifler belirtebilirsiniz.
Yandex tarafından desteklenen direktifler
|
Yönerge |
Açıklama |
Robots meta etiketi |
X-Robots-Tag başlığı |
|
|
Sayfa metninin dizinlenmesini yasaklar. Sayfa arama sonuçlarına dahil edilmeyecektir. |
|
|
|
|
Sayfadaki bağlantıların takip edilmesini yasaklar. Robot siteyi tararken bağlantıları takip etmez, ancak diğer kaynaklardan bunları öğrenebilir. Örneğin, diğer sayfalarda veya sitelerde. |
|
|
|
|
|
|
|
|
|
Arama sonuçları sayfasında kaydedilmiş kopyaya bağlantının gösterilmesini yasaklar. |
|
|
|
|
Otomatik olarak oluşturulan bir açıklamanın kullanılmasını yasaklar. |
|
— |
|
|
İlgili yasaklayıcı direktifleri iptal eder. |
|
— |
|
|
Sayfadaki metin ve bağlantıların dizinlenmesine izin verir, |
|
— |
Robot varsayılan olarak izin direktiflerini kullanır, bu yüzden başka direktifler yoksa bunları atlayabilirsiniz. İzin direktifleri, hem izin hem de yasaklayıcı direktiflerin bir kombinasyonu varsa önceliklidir.
Diğer arama motorları ve hizmetlerin robotları, direktifleri farklı şekilde yorumlayabilir.
Örnek:
Sayfa dizinlemeyi devre dışı bırakan bir öğe.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>
Sayfanın dizinlenmesini yasaklayan bir başlıkla HTTP yanıtı.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Birden fazla direktif belirtme
Virgülle ayrılmış birden fazla direktif belirtebilirsiniz.
<meta name="yandex" content="noindex, nofollow" />
Tek bir yanıtta birden fazla başlık ve virgülle ayrılmış direktif listesi geçebilirsiniz.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
Yandex robotu için çelişkili direktifler belirtilirse, olumlu bir değeri dikkate alacaktır. Meta etiket direktifleri örneği:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Dizinleme botu “all” değerini seçecektir. Metin ve bağlantılar dizinlenecektir.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Metin ve bağlantılar dizinlenecek, ancak arama sonuçlarında sayfanın kaydedilmiş kopyasına bağlantı
olmayacaktır.-->
Belirli robotlar için talimatlar
Robots meta etiketini yalnızca Yandex robotlarına bir direktif vermek için kullanabilirsiniz. Örnek:
<meta name="yandex" content="noindex" />
Yaygın direktifler ve Yandex robotları için direktifler listelerseniz, arama motoru hepsini dikkate alacaktır.
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />
Yandex robotu bu direktifleri noindex, nofollow olarak değerlendirecektir.
Ayrıca şuraya gidebilirsiniz:
