Simgelerin A/B testi

Önemli

A/B test bölümü, yayınlanmış oyunlarda yalnızca görünür. Bir oyun taslağı varsa, simgeleri test etmek için yayınlayın ya da silin.

Küçük simge ve kapak görseli, oyununuzun katalogdan başlatılmasını büyük ölçüde etkileyebilir. İyi seçilmiş yaratıcı unsurlar oyununuza daha fazla oyuncu çeker. Projeniz için daha uygun olacak küçük simgeyi ve kapak görselini belirlemek için iki alternatif seçip bunlar üzerinde bir A/B testi yapın. Katalog kullanıcıları otomatik olarak iki gruba ayrılır:

  • Bunların %50'si kontrol grubundaki seçeneği,
  • diğer %50'si de deneme grubundaki seçeneği görür.

Birkaç gün sonra Yandex Games Console'daki A/B icon test sekmesinde test edilen simgenin ve kapak görselinin katalog kullanıcılarının dönüşümü ve oyunun ürün metrikleri üzerindeki etkisine ilişkin ilk verileri görürsünüz.

Not

Farklı bir kitle üzerinde test etmek için üç farklı başvuru türü bulunmaktadır:

  • Tüm kitlesel hedef — Taslak dilindeki tüm creativeleri ve katalogdaki tüm kitleyi test etmenizi sağlar. Deneyin bir kısmına erişim sağlanabilir. Esneklik ve tamamlık açısından önerilen seçenek.

  • Rusa özel kitle — Deneysel creativeleri yalnızca Rusça arayüze sahip kullanıcılar görecek.

  • Uluslararası kitle — Rusça dışındaki tüm dil taslakları için creativeleri test etmenizi sağlar. Yaklaşık olarak katalogun %15'i uluslararası kitledir.

A/B testinin başlatılması

Adım 1. Promosyon içeriğini hazırlayın

Yeni simge ve kapak görselini hazırlayıp gereksinimlere uygunluğunu kontrol edin.

Adım 2. Başvuru oluşturun

  1. Yandex Games Console'u açın.

  2. İlgili oyunu seçin.

  3. A/B icon test sekmesine gidin.

  4. Zağlamak istediğiniz kitleyi seçin.

    Not

    Tüm kitle için test - kreatifleri test etmek için önerilen esnek bir yöntemdir.

  5. Go to request'e tıklayın.

Adım 3. Dosyaları yükleyin

Denemesi yapılacak simgeyi ve kapak görselini eklemek için Upload'ye tıklayın.

Eğer birden fazla dil için kreatifleri test ediyorsanız ve aynı görselleri kullanmayı planlıyorsanız, Apply icon and cover for other languages seçeneği ile dosyaların yüklenmesini hızlandırabilirsiniz (bu seçenek varsayılan olarak etkindir):

  1. Simgeyi ve üst seçeneğin kapağını yükleyin. Bu, otomatik olarak tüm dillere uygulanacaktır.
  2. Gerekirse, belirli diller için simgeleri ve kapakları ayrı ayrı değiştirin.

Adım 4. Oyunu moderasyona gönderin

Submit for moderation'e tıklayın.

Not

İlk 15 dakika içinde moderasyon başvurusunu geri çekebilirsiniz.

Alınan sonuçlarla çalışma

Sonuçları görüntüleme:

  1. Yandex Games Console'u açın.

  2. İlgili oyunu seçin.

  3. A/B icon test sekmesine gidin.

Önemli

Deneyin süre sınırlaması — 14 gündür.

Sayfanın üstünde deneyin başlangıç tarihi ve otomatik olarak ne zaman sona ereceği tarihi gösterilir.

İlk test sonuçları birkaç gün içinde ortaya çıkar. İstatistiksel olarak anlamlı sonuçlar elde etmek için, deneyi en az bir hafta sürdürün.

Kreatiflerin karşılaştırılmasında metrikler kullanılır:

  • Icon CTR in recommendations
  • Cover CTR in recommendations
  • Icon CTR in "My games"
  • Conversion To Play
  • Players
  • Play time per player
  • Play time

Metriğin rengi;

  • Yeşil ise, sonuçlar olumlu ve istatistiksel olarak anlamlıdır.
  • Kırmızı ise, sonuçlar olumsuz ve istatistiksel olarak anlamlıdır.

Eğer metrikler hiçbir şekilde renklendirilmemişse, deneyin kullanıcıya etkisi olup olmadığını kesin bir şekilde belirlemek mümkün olmayabilir.

Karar verme

Önemli

İstatistiksel olarak anlamlı sonuçlar elde etmek için, deneyi en az 7 gün sürdürmek gerekir, böylece oyuncuların hafta boyunca değişen aktiviteleri hesaba katılabilir. Test bir haftadan uzun sürerse, deney üzerinde karar vermeye başlanabilir.

  1. Yandex Games Console'u açın.

  2. İlgili oyunu seçin.

  3. A/B icon test sekmesine gidin.

  4. Test metriklerini inceleyip metriklerin renklerine göre karar verin:

    • Renk yeşil ise test edilen simge ve kapak görselini ana görseller olarak kullanmak için Accept the experiment'e tıklayın.

    Not

    Deneyin sonuçlarına bağlı olarak hangi kitleye deneyin uygulanacağını seçebilirsiniz. Örneğin, metrikler Rusça konuşan oyuncularda düşüş gösterirken uluslararası oyuncularda düşüş göstermiyorsa, deneyimli kreasyonları sadece uluslararası kitle için kullanın. Bu durumda taslağı ek olarak güncellemeniz gerekmez.

    • Renk kırmızı ise testi sonlandırmak için Stop'a tıklayın. Test otomatik olarak 14 gün sonra sona erecektir.

Öneri

Zaman zaman, kullanıcı tercihlerindeki değişiklikleri, piyasa trendlerini ve mevsimsel dalgalanmaları takip etmek için yaratıcıları yeniden test edin.

%90 olasılıkla metrikteki iyileşmenin, simgedeki veya kapak görselindeki değişikliklerle ilişkili olduğunu gösterir.

%90 olasılıkla metrikteki kötüleşmenin, simgedeki veya kapak görselindeki değişikliklerle ilişkili olduğunu gösterir.