Sürüm A/B testleri

Oyuncuların oyundaki güncellemelere nasıl tepki vereceğini öğrenmek için bir A/B denemesi yapın. Bunun için Geliştirici Konsolu aracılığıyla oyununuzun yeni bir derlemesini ekleyin. İzleyici yüzdesini ve deney süresini belirtin. Test tamamlandığında, deneysel derlemenin metriklerini ana sürümün göstergeleriyle karşılaştırın ve uygulamayı güncellemenin uygun olup olmadığına karar verin.

Önemli

Denemeyi yalnızca oyun zaten yayınlanmışsa başlatabilirsiniz.

Teste başka bir şey etki ederse, sonuçlar güvenilir olmayacaktır. Bunu önlemek için, deneyle paralel olarak yeni oyun sürümleri yayınlamayın ve başka A/B testleri yapmayın.

Daha küçük değişikliklerin oyun metriklerini nasıl etkilediğini incelemek için bayraklarla A/B deneyi yapın.

Adım 1. Hazırlık

Yeni, deneysel bir derleme hazırlayın. Bu derleme platform gereksinimlerine ve taslak materyallerine uymalıdır.

Arşivi Yandex Oyun Konsolu üzerinden ekleyin:

İlgili oyunu seçin.
Builds A/B Tests sekmesine gidin.
Start A/B Test butonuna tıklayın.
Experiment name ve What’s new alanlarını doldurun. Yeni derlemenin ana sürümden farklarını açıklayın — bu bilgi moderasyonun derlemeyi daha hızlı kontrol etmesine yardımcı olacaktır.
Audience ve Duration alanlarında gerekli değerleri seçin.
Choose file butonuna tıklayın ve deneysel oyun derlemesini içeren arşivi yükleyin.
Submit request butonuna tıklayın. Gerekirse Edit submission seçeneğini kullanın.
Derleme kontrolünü bekleyin. Yaklaşık 5 dakika sonra sayfayı yenileyin:
- Eğer derleme teknik hatalar içermiyorsa, ekranın üst kısmında Build passed the check bildirimi görünecektir.
- Eğer kontrol başarısız olursa, Back to submission butonuna tıklayın, derlemeyi düzeltin ve tekrar yükleyin.
Submit for moderation butonuna tıklayın.

Önemli

Aynı anda yalnızca bir moderasyon devam edebilir: taslak, kreatif A/B testi veya sürüm A/B testi. A/B testi için derleme kontrol edilirken, diğer moderasyon türleri kullanılamaz.

Adım 2. Moderatör Onayı

Not

Moderasyona gönderilen başvuruyu ilk 2 saat içinde geri çekebilirsiniz.

3-5 gün içinde moderasyon sonuçları Builds A/B Tests sekmesinde sayfanın üst kısmında görünecektir:

A/B testini başlattınız

Sürüm moderasyondan geçmedi

Deney otomatik olarak başladı: seçilen kullanıcı yüzdesi oyunun yeni, deneysel sürümünü görmeye başladı, diğerleri ise normal sürümü görmeye devam etti.

Moderasyon, oyunda yapılan değişiklikler gereksinimleri ihlal ettiği için yeni derlemeyi reddetti. Yandex ID'de belirtilen e-posta adresine moderasyondan bir e-posta gelecek, bu e-postada reddetme nedenleri ve ihlal edilen Oyun gereksinimleri maddelerine bağlantılar belirtilecektir. Moderasyon, ihlallerin kayıtlarını veya ekran görüntülerini içeren dosyaları ekleyecektir.

Oyunu tekrar incelemeye göndermeden önce:

İhlal edilen gereksinimlere ilişkin açıklamalar veya test metodolojileri varsa, bunları inceleyin.
Oyunda değişiklikler yapın.
Oyunu, geçen sefer ihlal edilen gereksinimlere uygunluk açısından tekrar dikkatlice kontrol edin.
Mümkünse, oyunu moderasyon için kullanılanlara benzer cihazlarda test edin. Bu cihazların modelleri bildirimlerde belirtilecektir.

Sürümle ilgili yorumlar hakkında sorularınız varsa, destek ile iletişime geçin.

Deneme sayısı sınırsızdır, ancak her reddedilmeden sonra moderasyona yeniden göndermeden önceki bekleme süresi iki katına çıkar. Maksimum bekleme süresi 384 saattir (16 gün).

Adım 3. Başlatma

Deney başladıktan sonra Builds A/B Tests sekmesinde test verileri görünecektir: denemenin başlama tarihi ve otomatik olarak sona ereceği tarih. İlk test sonuçları birkaç gün içinde görünecek ve grafiklerde ve tablolarda gösterilecektir.

Derlemelerin karşılaştırılması için şu metrikler kullanılır:

Metrik	Açıklama
Timespent per player	Bir oyuncunun günde ortalama oyunda geçirdiği süre (dakika).
Conversion To Play	60 saniyeden uzun süren oyun oturumlarının oranı.
Interstitial shows per player	Bir oyuncu başına günlük ortalama tam ekran reklam gösterim sayısı.
Rewarded shows per player	Bir oyuncu başına günlük ortalama ödüllü reklam gösterim sayısı.
Ad revenue delta*	Test ve kontrol grupları arasındaki reklam geliri farkı (kontrol grubundaki gelirin yüzdesi olarak).
In-app purchases per player	Bir oyuncu başına günlük ortalama uygulama içi satın alım sayısı.
Ratio of players with in-app purchase*	Uygulamanın günlük kullanıcıları arasında ödeme yapan kullanıcıların oranı (yüzde olarak).
In-App revenue per player*	Bir oyuncu başına günlük uygulama içi satın alımlardan elde edilen gelir (Ruble).

* Bu metrik yalnızca oyun sahibi ve View income rolüne sahip geliştiriciler tarafından görüntülenebilir.

Metrikler renklendirilmişse:

yeşil — sonuç olumlu ve istatistiksel olarak anlamlıdır;
kırmızı — sonuç olumsuz ve istatistiksel olarak anlamlıdır.

Eğer metrikler renklendirilmemişse, denemenin kullanıcıyı etkileyip etkilemediği kesin olarak söylenemez.

Önemli

Oyuncu aktivitesi hakkında istatistiksel olarak anlamlı sonuçlar elde etmek için denemenin en az bir hafta sürmesi gerekir.

Süre sayımı moderasyon kontrolünden sonra başlayacaktır. Deney, Duration alanında seçtiğiniz süre dolduktan sonra otomatik olarak sona erecektir. Erken bitirmek için Stop → Yes, stop it butonlarına tıklayın.

Adım 4. Sonuçlar

Deney bittikten sonra şunlara tıklayın:

Publish — yeni derlemeyi ana sürüm yapmak için. Tekrar moderasyondan geçmenize gerek yoktur.
Don’t publish — denemeyi bitirmek ve kullanıcılara deneysel derlemeyi göstermeyi durdurmak için.

Kararınızı verdikten sonra Close butonuna tıklayın.

Yazı yararlı oldu mu?

Yayın güncellemeleri

Bayraklar