Sürüm A/B testleri

Oyuncuların oyundaki güncellemelere nasıl tepki vereceğini öğrenmek için bir A/B denemesi yapın. Bunun için Geliştirici Konsolu üzerinden yeni bir oyun derlemesi ekleyin. Bu derleme, iki hafta boyunca kitlenizin yarısına gösterilecek. Test tamamlandığında, deneysel derlemenin metriklerini ana sürümün göstergeleriyle karşılaştırın ve uygulamayı güncellemenin uygun olup olmadığına karar verin.

Önemli

Bir deneme yalnızca oyun zaten yayınlanmışsa başlatılabilir.

Eğer test sürecine başka bir şey etki ederse, sonuçlar güvenilir olmayacaktır. Bunu önlemek için, deneyle aynı anda yeni oyun sürümleri yayınlamayın ve başka A/B testleri yapmayın.

Oyunun göstergelerine daha küçük değişikliklerin nasıl etki ettiğini incelemek için bayrak tabanlı A/B testi yapın.

Adım 1. Hazırlık

Yeni, deneysel bir derleme hazırlayın. Bu derleme platform gereksinimlerine ve taslak materyallerine uymalıdır.

Arşivi Yandex Oyun Konsolu üzerinden ekleyin:

İlgili oyunu seçin.
Builds A/B Tests sekmesine gidin.
Start A/B Test butonuna tıklayın.
Experiment name ve What’s new alanlarını doldurun. Yeni derlemenin ana sürümden farklarını açıklayın — bu bilgi moderasyonun derlemeyi daha hızlı kontrol etmesine yardımcı olacaktır.
Choose file butonuna tıklayın ve deneysel oyun derlemesini içeren arşivi yükleyin.
Submit request butonuna tıklayın. Gerekirse Edit submission seçeneğini kullanın.
Derleme kontrolünün tamamlanmasını bekleyin. Yaklaşık 5 dakika sonra sayfayı yenileyin:
- Eğer derleme teknik hatalar içermiyorsa, ekranın üst kısmında Build passed the check bildirimi görünecektir.
- Eğer kontrol başarısız olursa, Back to submission butonuna tıklayın, derlemeyi düzeltin ve tekrar yükleyin.
Submit for moderation butonuna tıklayın.

Adım 2. Moderatör Onayı

Not

Moderasyona gönderilen başvuruyu ilk 2 saat içinde geri çekebilirsiniz.

3-5 gün içinde moderasyon sonuçları Builds A/B Tests sekmesinde sayfanın üst kısmında görünecektir:

A/B testini başlattınız

Sürüm moderasyonu geçemedi

Deneme otomatik olarak başladı: Kullanıcıların %50'si yeni, deneysel oyun sürümünü görmeye başladı, diğerleri normal sürümü görmeye devam etti.

Moderasyon, oyunda yapılan değişiklikler gereksinimleri ihlal ettiği için yeni derlemeyi reddetti. Yandex ID'de belirtilen e-posta adresine, moderasyondan ihlal edilen maddelerin belirtildiği ve ihlal kayıtlarının veya ekran görüntülerinin eklendiği bir e-posta gönderilecektir.

Derlemeyi tekrar kontrol için göndermeden önce:

İhlal edilen gereksinimlerle ilgili açıklamalar veya kontrol metodları varsa, bunları inceleyin.
Oyunda gerekli değişiklikleri yapın.
Önceki kontrol sırasında ihlal edilen gereksinimlere uygunluğu tekrar dikkatlice kontrol edin.
Mümkünse, moderasyonun yapıldığı cihazlara benzer cihazlarla oyunu test edin. Bu cihazların modelleri bildirimlerde belirtilecektir.

Deneme sayısı sınırlı değildir, ancak her reddedilmeden sonra moderasyona tekrar göndermeden önce bekleme süresi bir gün artar.

Sorularınız varsa — destek ekibine başvurun.

Adım 3. Başlatma

Deneme başladıktan sonra Builds A/B Tests sekmesinde test verileri görünecektir: denemenin başlama tarihi ve otomatik olarak sona ereceği tarih. İlk test sonuçları birkaç gün içinde görünecek ve grafikler/tablolarda gösterilecektir.

Derlemelerin karşılaştırılması için şu metrikler kullanılır:

Metrik	Açıklama
Timespent per player	Bir oyuncunun günde ortalama oyunda geçirdiği süre (dakika).
Interstitial shows per player	Bir oyuncu başına günlük ortalama tam ekran reklam gösterim sayısı.
Rewarded shows per player	Bir oyuncu başına günlük ortalama ödüllü reklam gösterim sayısı.
In-app purchases per player	Bir oyuncu başına günlük ortalama uygulama içi satın alım sayısı.
Ratio of players with in-app purchase*	Uygulamanın günlük kullanıcıları arasında ödeme yapan kullanıcıların oranı (yüzde olarak).
Conversion To Play	60 saniyeden uzun süren oyun oturumlarının oranı.
Ad revenue delta*	Test ve kontrol grupları arasındaki reklam geliri farkı (kontrol grubundaki gelirin yüzdesi olarak).
In-App revenue per player*	Bir oyuncu başına günlük uygulama içi satın alımlardan elde edilen gelir (Ruble).

* Bu metrik yalnızca oyun sahibi ve View income rolüne sahip geliştiriciler tarafından görüntülenebilir.

Eğer metrikler renklendirilmişse:

yeşil — sonuç olumlu ve istatistiksel olarak anlamlıdır;
kırmızı — sonuç olumsuz ve istatistiksel olarak anlamlıdır.

Eğer metrikler renklendirilmemişse, denemenin kullanıcıyı etkileyip etkilemediği kesin olarak söylenemez.

Önemli

Oyuncu aktivitesiyle ilgili istatistiksel olarak anlamlı sonuçlar elde etmek için denemenin en az bir hafta sürmesi gerekir.

Deneme, başladıktan 14 gün sonra otomatik olarak sona erecektir. Erken bitirmek için Stop → Yes, stop it butonlarına tıklayın.

Adım 4. Sonuçlar

Deneme tamamlandıktan sonra:

Publish butonuna tıklayarak yeni derlemeyi ana sürüm yapın. Tekrar moderasyona gerek yoktur.
Don’t publish butonuna tıklayarak denemeyi sonlandırın ve kullanıcılara deneysel derlemeyi göstermeyi durdurun.

Karar verdikten sonra Close butonuna tıklayın.

Yazı yararlı oldu mu?

Yayın güncellemeleri

Bayraklar