Arama Kalitesi nasıl ölçülür ve iyileştirilir

Yandex, Aramanın daha iyi çalışmasını sağlamak için kasıtlı olarak çalışıyor. Serp'leri oluşturan algoritmadaki her değişiklik, Aramanın gelişim ilkelerini karşılamalıdır.

Arama geliştirmenin İlkeleri

Aramanın amacı, kullanıcıya açık fikirli bir şekilde, görevini rahat ve minimum sürede çözmesine yardımcı olacağı bir biçimde eksiksiz, faydalı ve alakalı bilgiler sunmaktır.

Serp'ler tamamen makine tarafından eğitilmiş algoritmalar tarafından oluşturulur, bu da verilerin tarafsız bir şekilde sıralanmasını ve sunulmasını garanti eder. Arama sonuçlarının sırasını manuel olarak değiştirmenin bir yolu yoktur.

Arama, en uygun sayfaları bulmak için sorguyu, sayfaların içeriğini ve kullanıcıların onlarla etkileşim geçmişini, farklı sayfalar arasındaki ilişkileri, dili ve konumu ve diğer birçok faktörü otomatik olarak analiz eder. Makine öğrenilen sıralama algoritmalarının çalışma kalitesi, otomatik olarak hesaplanan metriklere göre kontrol edilir.

Sıralama algoritmalarının makine öğrenimi için, kullanıcıların arama sonuçlarıyla etkileşimi ve serp'leri manuel olarak işaretleyen uzman değerlendiricilerin değerlendirmeleri hakkında otomatik olarak toplanan veriler kullanılır. Değerlendirici değerlendirmeleri, algoritma tarafından oluşturulan arama sonuçlarının kalitesini kalite ve sorgularla alaka düzeyi açısından doğrulamak için de kullanılır. Değerlendiricilerin tarafsızlığı, işe alımlarını, eğitimlerini, talimatlarını ve çalışma araçlarını kapsayan bir kontrol sistemi ile garanti edilir. Değerlendiricilerin talimatı, belgenin niteliğinin ve talebin uygunluğunun nasıl değerlendirileceğini açıklar ve değerlendirmelerin nesnel olması için formüle edilmiştir. Bireysel partizan değerlendirmelerin etkisini telafi etmek için değerlendirmeler her zaman örtüşme ile yapılır. Ayrıca, puanlar hiçbir zaman doğrudan sıralamada kullanılmaz, yalnızca sıralama algoritmalarının makine öğrenimi için kullanılır.

Sıralama sistemindeki tüm değişiklikler, manuel müdahale hariç, sıralama algoritmalarının uygulanmasından geçer. Tüm değişiklikler gözlemlenebilir, her biri için kişisel sorumluluk belirlenir, değerlendiricilerin (Proksım) tahminlerine ve kullanıcıların Serp'lerin öğeleriyle etkileşimlerine ilişkin verilere (Fazlalık) dayalı olarak oluşturulan metriklerle otomatik olarak kontrol edilirler.

Yandex'in yardımıyla, indeksleme için mevcut çok sayıda kaynaktan toplanan bilgileri bulabilirsiniz. Bilgilerin indekslenmesinin eksiksizliği en önemli önceliktir. Her kaynak türü için bilgilerin indekslenmesi tek tiptir. Dizine eklenen içerik, yalnızca sayfaların arama spam'i olması, kullanıcıya zarar vermesi veya yürürlükteki yasaları ihlal etmesi durumunda arama sonuçlarından kaldırılabilir.

Arama, kullanmasının en uygun olacağı biçimde bilgi sağlayarak kullanıcılara zaman kazandırmayı amaçlamaktadır. Kullanıcıların arama sonuçlarıyla etkileşimlerine ilişkin verilerin analizi yoluyla, bireysel sonuçların ve genel olarak sonuçların yararlılığı doğrulanır. Bilgilerin sunumunun formatı ve eksiksizliği, kullanıcının problemini çözme olasılığı ve sunulan bilgilerin türü ile belirlenir ve belirli bilgi kaynağına bağlı değildir.

Arama algoritmalarındaki değişiklikler nasıl değerlendirilir

Arama algoritmalarındaki potansiyel değişiklikler iki metrikle değerlendirilir:

• Proksima — Yandex tarafından toplanan veritabanından (dizin) sayfaların puanlarına ve diğer veri kalitesi sinyallerine göre hesaplanan sayfa kalitesi metriği.
• Fazlalık — Kullanıcının Arama ile etkileşimlerinden hesaplanan verimin faydalılığının metriği.

Yandex, arama kalitesi sonuçlarını değerlendiren uzmanların (değerlendiriciler) hizmetlerini yaygın olarak kullanmaktadır. Bireysel siteleri ve sorunun diğer unsurlarını kalite ve alaka düzeyi açısından değerlendirirler. Değerlendiricilerin puanları arama sonuçlarını doğrudan etkilemez, ancak sıralama algoritmasındaki belirli bir değişikliğin ne kadar uygun olduğuna karar vermeye yardımcı olur.

Uygun görülen değişiklik, çevrimiçi bir deneyle doğrulanır. Böyle bir deneyde, kullanıcılar yanlışlıkla iki gruba ayrılır: bir grup yeni işlevselliği görürken diğeri mevcut arama seçeneğini görür. Deney sırasında gerekli miktarda veri topladıktan sonra, Yandex uzmanları önerilen değişikliğin kullanıcılar için olumlu olup olmadığı sonucuna varıyor. Bu sonuç, ana Fazlası olan arama kalitesinin kabul ölçütlerine odaklanmaktadır.

Proksima

Değerlendirici değerlendirmelerinden ve ek sinyallerden sayfa kalitesi metriği oluşturulur — Proksima. Algoritmanın sayfaların kalitesini daha incelikli bir şekilde ayırt edebilmesi için Proxima, aşağıdakiler gibi birçok yönü dikkate alır:

• sayfanın taleple alaka düzeyi (farklı alanlardaki uzmanların uzman değerlendirmeleri dahil);
• kullanıcının sorununu sayfada ve sitede çözme olasılığı;
• içeriğin kalitesi, kullanışlılığı ve özgünlüğü;
• yararlı ve müdahaleci denge;
• karmaşık konularda (tıp, hukuk ve finansal hizmetler vb.) içerik kalitesi ve yazarın otoritesi hakkında ek sinyaller;
• kullanıcı tarafından içerik tüketiminin rahatlığı.

Proximus'un metriği hakkındaki hikayelerimizde daha fazla ayrıntı ve örnek var. Sekizinci, dokuzuncu sırada ve onuncu sırada Web Yöneticileri. Ekip, sayfaların kalitesi ve kullanıcı sorunlarının çözümü hakkında yeni sinyaller ekleyerek metriği geliştirmeye devam ediyor.

Fazlalık

Fazlalığın görevi, ihraçların yararlılığını ölçmektir (kullanıcının problemini ne kadar çabuk çözmenin mümkün olduğunu).

Fazlalık, kullanıcıların tüm arama sonuçları ve serp'deki diğer unsurlarla etkileşimlerinin kalitesini ve miktarını dikkate alır. Serp'leri oluştururken, öngörülen Fazlalık değeri daha yüksek olan bilgi sunum formatları seçilir.

Arama sonuçları sayfasındaki karşılıklı konum ve öğe kümesi, tüm sayfa için tahmin edilen Fazlalık ve Proksim değerleri maksimum olacak şekilde sıralanır. Tahmini Fazlalık değeri, sorun sayfasındaki çeşitli öğe kombinasyonlarına göre ölçülür ve arama sonuçları sayfasındaki öğeler, tam olarak bu düzenleme sırası için tahmini Fazlalık değeri maksimum olacak şekilde sıralanır. Öğeleri farklı bir sıraya yerleştirirken, yüksek olasılıkla, tüm sorunun hesaplanan nihai Fazlası daha düşük olacaktır. Belirli bir verinin gerçek fazlası tahmin edilen değerden farklıysa, algoritma bunu yeniden eğitim sürecinde dikkate alır.

Ölçüm Kuralları ve Fazlalığı etkileyen ana faktörler

Fazlalık (hem tüm ihraçların hem de tek bir öğenin) aşağıdaki kurallara göre hesaplanır:

• Kullanıcının ihraç öğesiyle yaptığı her etkileşim başarılı veya başarısız olarak kabul edilir.
• Etkileşimin başarılı olduğu kabul edilirse (bu, örneğin, kullanıcı bir istek sorduysa, harici bir siteye gittiyse ve uzun süre aramaya geri dönmediyse gerçekleşebilir), metrik artı bir değer artar.
• Etkileşimin başarısız olduğu tespit edildiyse (örneğin, kullanıcı arama sonuçlarının bulunduğu sayfaya hızla geri döndüyse veya kullanıcının istenen bilgileri bulmak için sorguyu yeniden formüle etmesi gerekiyorsa ve kullanıcı görevi başka bir öğe kullanarak çözdüyse), metrik azalır. Aynı zamanda en büyük para cezası, ihraçta geniş bir alanı kaplayan ve kullanıcı için çekici yerlerde bulunan en göze çarpan unsurlar tarafından alınır.
• Tüm yayın kullanıcının görevini çözmediyse ve talebin yeniden formüle edilmesi gerekiyorsa, metrik de azalır.

Metrik, hem ihraçtaki tıklamaları (örneğin, bağlantılardan, kuruluşların kartlarından, telefon numaralarından) hem de tamamen tıklanmayan etkileşimleri (kullanıcı gerçek yanıtta gerekli bilgileri buldu ve diğerleri) dikkate alır. Her ikisi de metriği artıracak başarılı bir etkileşimin parçası olabilir.