Site dizinleme

1. Siteyi Yandex Webmaster’a ekleyin.

2. Site haritası. Site haritası, sitenin yapısını tanımlamak için web yöneticileri ve arama motorları için geliştirilmiş özel bir biçimdir. Bu, sitenin iç sayfalarına bağlantıların XML biçiminde sunulduğu bir listedir. Yandex bu biçimi da destekler. Web siteniz için bir Site haritası’i özel bir sayfada yükleyebilirsiniz. Bunu, robotun belirli sayfaları tarama önceliğini ayarlamak için kullanın. Örneğin, bazı sayfalar daha sık güncelleniyorsa, robotun tarama planını doğru yapması için bunu belirtin.

3. Robots.txt arama motoru robotları için bir dosyadır. Bu dosyada, web yöneticisi tüm robotlar veya her bir arama motoru için ayrı ayrı dizinleme parametrelerini belirtebilir. Bu dosyada belirtebileceğiniz en önemli parametreler şunlardır:

   Disallow

   Bu direktif, belirli site bölümlerinin dizinlenmesini yasaklamak için kullanılır. Teknik sayfalar ve kullanıcılar ile arama motorları için önemli olmayan sayfaların dizinlenmesini önlemek için kullanın. Bu şunları içerir:

   Daha fazla bilgi için Robots.txt dosyasını kullanma bölümüne bakın.

   Clean param

   Bu direktifi, sayfa URL’sindeki hangi CGI parametrelerinin önemsiz olduğunu robota bildirmek için kullanın. Bazen sayfa URL’leri oturum tanımlayıcıları içerir. Resmi olarak, farklı kimliklere sahip sayfalar farklıdır, ancak içerikleri yine de aynıdır. Sitede bu türden birçok sayfa varsa, robot bu tür sayfaları dizinlemeye başlayabilir, faydalı içeriği indirmek yerine. Daha fazla bilgi için Robots.txt dosyasını kullanma bölümüne bakın.

4. Yandex, çevrimiçi dağıtılan ana belge türlerini dizinler. Ancak, belgenin nasıl dizinlendiğini ve dizinlenip dizinlenmediğini etkileyen kısıtlamalar vardır:

   • Bir URL’deki çok sayıda CGI parametresi, çok sayıda iç içe dizin ve aşırı uzun URL’ler belge dizinlemeyi engelleyebilir.

   • Belgenin boyutu dizinleme için önemlidir. 10 MB’den büyük belgeler dizinlenmez.

   • Flash dizinleme:

     1. Robot, doğrudan bağlantı varsa veya HTML’de "object" veya "embed" etiketleriyle gömülmüşse *.swf dosyalarını dizinler.

     2. Flash faydalı içerik içeriyorsa, orijinal HTML belgesi, swf dosyasında dizinlenen içerik tarafından bulunabilir.

   • PDF belgelerinde yalnızca metin içeriği dizinlenir. Görüntü olarak temsil edilen metin dizinlenmez.

   • Yandex, Open Office XML ve OpenDocument biçimlerindeki belgeleri (Microsoft Office ve Open Office belgeleri dahil) dizinler. Ancak yeni biçimler için destek biraz zaman alabilir.

   • <frameset> ve <frame> etiketlerini kullanabilirsiniz. Yandex robotu, bunlarda yüklenen içeriği dizinler ve çerçevelerin içeriğine dayanarak kaynak belgeyi bulur.

5. Eğer var olmayan URL’ler için farklı bir sunucu davranışı ayarlarsanız, sunucunun 404 hata kodunu döndürdüğünden emin olun. Arama motoru 404 kodunu aldığında, belgeyi dizinden kaldırır. Sitedeki tüm gerekli sayfaların 200 OK kodu ile yanıt verdiğinden emin olun.

6. HTTP başlıklarının doğru olduğundan emin olun. “if-modified-since” isteğine sunucu yanıtı önemlidir. Last-Modified başlığı, belgenin doğru son değiştirilme tarihini içermelidir.

İleri