Simgelerin A/B testi

Küçük simge ve kapak görseli, oyununuzun katalogdan başlatılmasını büyük ölçüde etkileyebilir. İyi seçilmiş yaratıcı unsurlar oyununuza daha fazla oyuncu çeker. Projeniz için daha uygun olacak küçük simgeyi ve kapak görselini belirlemek için iki alternatif seçip bunlar üzerinde bir A/B testi yapın. Katalog kullanıcıları otomatik olarak iki gruba ayrılır:

• Bunların %50'si kontrol grubundaki seçeneği,
• diğer %50'si de deneme grubundaki seçeneği görür.

Birkaç gün sonra Yandex Games Console'daki A/B icon test sekmesinde test edilen simgenin ve kapak görselinin katalog kullanıcılarının dönüşümü ve oyunun ürün metrikleri üzerindeki etkisine ilişkin ilk verileri görürsünüz.

A/B testinin başlatılması

Adım 1. Promosyon içeriğini hazırlayın

Yeni simge ve kapak görselini hazırlayıp gereksinimlere uygunluğunu kontrol edin.

Adım 2. Başvuru oluşturun

1. Yandex Games Console'u açın.

2. İlgili oyunu seçin.

3. A/B icon test sekmesine gidin.

4. Zağlamak istediğiniz kitleyi seçin.

   Not

   Tüm kitle için test - kreatifleri test etmek için önerilen esnek bir yöntemdir.

5. Go to request'e tıklayın.

Adım 3. Dosyaları yükleyin

Denemesi yapılacak simgeyi ve kapak görselini eklemek için Upload'ye tıklayın.

Eğer birden fazla dil için kreatifleri test ediyorsanız ve aynı görselleri kullanmayı planlıyorsanız, Apply icon and cover for other languages seçeneği ile dosyaların yüklenmesini hızlandırabilirsiniz (bu seçenek varsayılan olarak etkindir):

1. Simgeyi ve üst seçeneğin kapağını yükleyin. Bu, otomatik olarak tüm dillere uygulanacaktır.
2. Gerekirse, belirli diller için simgeleri ve kapakları ayrı ayrı değiştirin.

Adım 4. Oyunu moderasyona gönderin

Submit for moderation'e tıklayın.

Alınan sonuçlarla çalışma

Sonuçları görüntüleme:

1. Yandex Games Console'u açın.

2. İlgili oyunu seçin.

3. A/B icon test sekmesine gidin.

Sayfanın üstünde deneyin başlangıç tarihi ve otomatik olarak ne zaman sona ereceği tarihi gösterilir.

İlk test sonuçları birkaç gün içinde ortaya çıkar. İstatistiksel olarak anlamlı sonuçlar elde etmek için, deneyi en az bir hafta sürdürün.

Metrikler

Kreatiflerin karşılaştırılmasında metrikler kullanılır:

Metrik	Açıklama
Icon CTR in recommendations	Katalogda ve koleksiyonlarda gösterilen simgeye tıklamaların toplam sayısının gösterim sayısına oranı.
Cover CTR in recommendations	Katalogda ve koleksiyonlarda gösterilen kapağa tıklamaların toplam sayısının gösterim sayısına oranı.
Icon CTR in "My games"	Oyunlarım bloğunda gösterilen simgeye tıklamaların toplam sayısının gösterim sayısına oranı.
Conversion To Play	60 saniyeden fazla süren oyun oturumlarının oranı.
Players	Günlük benzersiz oyuncuların toplam sayısı.
Play time per player	Bir oyuncunun bir günde oyunda geçirdiği ortalama süre (dakika cinsinden).
Play time	Oyuncuların bir günde oyunda geçirdikleri toplam süre (dakika cinsinden).
Revenue from the Yandex Advertising Network, %	Yandex Reklam Ağı'nda reklam yerleştirilmesinden elde edilen gelirin toplam gelir içindeki yüzdesi.
In-app purchases	Deney süresi boyunca yapılan uygulama içi satın alımların sayısı.
In-app revenue, RUB	Deney süresi boyunca uygulama içi satın alımlardan elde edilen gelir.

Metriğin rengi;

• Yeşil ise, sonuçlar olumlu ve istatistiksel olarak anlamlıdır.
• Kırmızı ise, sonuçlar olumsuz ve istatistiksel olarak anlamlıdır.

Eğer metrikler hiçbir şekilde renklendirilmemişse, deneyin kullanıcıya etkisi olup olmadığını kesin bir şekilde belirlemek mümkün olmayabilir.

Karar verme

1. Yandex Games Console'u açın.

2. İlgili oyunu seçin.

3. A/B icon test sekmesine gidin.

4. Test metriklerini inceleyip metriklerin renklerine göre karar verin:

   • Renk yeşil ise test edilen simge ve kapak görselini ana görseller olarak kullanmak için Accept the experiment'e tıklayın.

   Not

   Deneyin sonuçlarına bağlı olarak hangi kitleye deneyin uygulanacağını seçebilirsiniz. Örneğin, metrikler Rusça konuşan oyuncularda düşüş gösterirken uluslararası oyuncularda düşüş göstermiyorsa, deneyimli kreasyonları sadece uluslararası kitle için kullanın. Bu durumda taslağı ek olarak güncellemeniz gerekmez.

   • Renk kırmızı ise testi sonlandırmak için Stop'a tıklayın. Test otomatik olarak 14 gün sonra sona erecektir.

Sık sorulan sorular

A/B testini başlattıktan sonra ürün metriklerini mi yoksa sadece CTR'yi mi takip etmek daha iyidir?

Ürün metriklerini takip etmek daha iyidir. Örnek: Satranç taşları simgesi ve kapağı olan bir satranç oyunu. Geliştirici, A/B testinde bunları oyun kartları ve solitaire ile değiştirdi. Solitaire oyunlarının kitlesi daha büyük olduğundan, geliştirici daha fazla tıklama alacak ve CTR artacaktır, ancak kapak içerikle eşleşmediği için ürün metrikleri artmayacaktır.

A/B testini başlatırken aynı zamanda oyunun yeni bir sürümünü yayınlayabilir miyim?

Kapaklar ve simgeler, ürün metriklerini düşürerek veya yükselterek etkileyebilir. A/B testi sırasında bunlar dikkat gerektirir. Oyunun yeni bir sürümünü yayınlarsanız, yeni sürümün metriklerini ve deneyin metriklerini ayıramazsınız. Bu nedenle, oyunu güncellemek için deneyi durdurmanız gerekir.

A/B testini başlattıktan sonra metrikler iyileşti, ancak neden yeşil renkte vurgulanmıyor?

Bu, toplanan verilerin henüz az olması nedeniyle metriklerdeki iyileşmenin istatistiksel olarak anlamlı kabul edilemeyeceği anlamına gelir. Bu tür metrik değişiklikleri henüz deneyimle ilişkili olmayabilir.

10 deneyin sonuçları renkle vurgulanmadıysa, ancak bir sonraki A/B testinde metrikler yeşil renkte vurgulandıysa, deneyi kabul edebilir miyim?

Değerlendirme sistemi, bu değerlerin tesadüfi olmadığına dair %90'a kadar olasılık sağlar. 11 benzer deney yaptıysanız ve bunlardan sadece biri yeşil renkte vurgulandıysa, bu bir tesadüf olabilir. Elde edilen verilerin güvenilirliğinden emin olmak için, başarılı deneyi tekrarlamak daha iyidir. Eğer tekrar aynı iyileşmeyi gösterirse, başarı olasılığı çok daha yüksektir.

A/B testi sonuçları renklendirilmedi, hiçbir değişiklik olmadı mı?

Mümkündür. Ancak mevcut sonuçları değerlendirmek için yeterli bilgi hacmi olmayabilir.

%90 olasılıkla metrikteki iyileşmenin, simgedeki veya kapak görselindeki değişikliklerle ilişkili olduğunu gösterir.

%90 olasılıkla metrikteki kötüleşmenin, simgedeki veya kapak görselindeki değişikliklerle ilişkili olduğunu gösterir.