--- metadata: - name: generator content: Diplodoc Platform v5.55.2 alternate: - https://yandex.com.tr/dev/games/doc/en/console/vq-test.md - https://yandex.com.tr/dev/games/doc/hi/console/vq-test.md - https://yandex.com.tr/dev/games/doc/ko/console/vq-test.md - https://yandex.com.tr/dev/games/doc/ru/console/vq-test.md - https://yandex.com.tr/dev/games/doc/tr/console/vq-test.md - https://yandex.com.tr/dev/games/doc/vi/console/vq-test.md - https://yandex.com.tr/dev/games/doc/zh/console/vq-test.md - href: tr/console/vq-test.md type: text/markdown title: Markdown version - href: ../llms.txt type: text/markdown title: llms.txt --- > **Documentation Index:** Fetch the complete configuration index at https://yandex.com.tr/dev/games/doc/tr/llms.txt # Deneyler Oyundaki değişikliklerin kullanıcıların davranışlarını nasıl etkilediğini anlamak için A/B testi yapın. Test için kullanıcıların tümünü veya bir kısmını seçip gruplara bölün. Grupların her birine uygulamanın benzersiz deneysel bir varyantı gösterilir. Tüm varyantlar geliştirici konsolunda aynı sürüme dayalı olarak [bayrak](https://yandex.com.tr/dev/games/doc/tr/config.md) denilen anahtar/değer çiftleri kullanılarak oluşturulur. Özellikle başarılı değişiklikleri belirlemek ve oyun performansını geliştirmek için rapordaki metriklerin değişikliklerini izleyin. Testi oluşturmadan önce: 1. Testi iyice düşünüp tasarlayın: - Doğruluğunu kontrol etmek istediğiniz varsayım nedir; - Farklı varyantlarda değişenler nelerdir; - Ulaşmak istediğiniz göstergeler nelerdir. 1. İstediğiniz işlevselliği gerçekleştirin. Bu amaçla [ysdk.getFlags()](https://yandex.com.tr/dev/games/doc/tr/sdk/sdk-config.md) yöntemiyle elde ettiğiniz koşulları ve bayrakları kullanın ve uygulamanın yeni varyantını yükleyin. 1. Gerekirse [konfigürasyona](https://yandex.com.tr/dev/games/doc/tr/config.md) yeni bayraklar ekleyip değişiklikleri yayınlayın. ## Test oluşturma {#create} Test oluşturmak için: 1. [Geliştirici konsoluna](https://games.yandex.com/console){.external} gidin. 1. Uygulama seçin. 1. **Experiments** sekmesine gidi ve **Create experiment** butonuna tıklayın. {% note warning %} Aynı anda en fazla iki deney başlatılabilir. {% endnote %} ### Adım 1. İsim ve açıklama {#name-and-description} Deney için isim ekleyin, isteğinize göre **Description** alanını doldurun. Açıklamada, deneyle tam olarak neleri test edeceğinizi (örneğin, buton renklerinin uygunluğu veya değerli bir ödül alma olasılığı gibi), hangi sonuçları almayı hedeflediğinizi ve hangi metrikleri iyileştirmeyi planladığınızı belirtebilirsiniz. ### Adım 2. Koşullar {#conditions} **Date range** Varsayılan olarak deneyin sadece süresi sınırlıdır. Deneyin başlangıç tarihini ve süresini belirleyebilirsiniz. {% note warning %} Maksimum süre 30 gündür. {% endnote %} **Audience share** Deneye katılacak kullanıcı oranını belirleyin. {% note warning %} Hedef kitle payı kullanıcıların toplam sayısı üzerinden değil, belirtilen tüm koşullara uyan kullanıcılar üzerinden hesaplanır. {% endnote %} {% cut "Örnek" %} Hedef kitle payını %60 olarak belirttiğinizde hedef kitlenin %40’ı deneye katılmaz. Deneye katılacak %60 ise birkaç gruba bölünür. Grupların sayısı, test edilen varyantların sayısına göre belirlenir; gruplardan her birine bir varyant verilir. Dolayısıyla hedef kitlenin %60’ı deneye katılıyorsa ve test edilen uygulama varyantı 3 adetse, bir varyant hedef kitlenin %20’sinde test edilir. Bu yüzde değeri ilgili varyantın adının sağında gösterilir. {% endcut %} **Conditions** Koşullar deneyin hedef kullanıcı kitlesini sınırlamaya olanak tanır. Koşullar eklendikten sonra deneyin hedef kitlesi yalnızca seçtiğiniz tüm koşullara uygun olan kullanıcılardan oluşur; **Audience share** ise bu hedef kitle baz alınarak hesaplanır. Sınırlama belirlemek için **Add condition** öğesine tıklayın, istediğiniz koşulları seçin ve açılan alanları doldurun. Kullanabileceğiniz koşullar: - **Platforms**: Mobil cihazlar, masaüstü cihazlar veya TV cihazları. - **Languages**: Konfigürasyonunuzu görecek kullanıcıların cihazlarında ayarlanmış dil seçenekleri. - **Regions**: Kullanıcı cihazlarında yapılan bölge ayarları. - **Client features**: “Anahtar/Değer” çifti olarak kendi parametrelerinizi belirtebilirsiniz; örneğin: `param=value`. “VE” operatörü ile birleştirilecek birden fazla değeri belirtmek için aralarına virgül koyun. Örneğin: `aparam=avalue`, `bparam=bvalue`. ### Adım 3. Metrikler {#metrics} Deney için altı metrik mevcuttur, deneyin sonuçları hakkında bu altı metrik üzerinden bir rapor hazırlanacaktır. #| || **Metrik** | **Açıklama** || || **Timespent per player** | Bir oyuncunun günde ortalama oyunda geçirdiği süre (dakika). || || **Conversion To Play** | 60 saniyeden uzun süren oyun oturumlarının oranı. || || **Interstitial shows per player** | Bir oyuncu başına günlük ortalama [tam ekran reklam](https://yandex.com.tr/dev/games/doc/tr/console/adv-monetization.md#interstitial) gösterim sayısı. || || **Rewarded shows per player** | Bir oyuncu başına günlük ortalama [ödüllü reklam](https://yandex.com.tr/dev/games/doc/tr/console/adv-monetization.md#rewarded) gösterim sayısı. || || **Ad revenue delta*** | Test ve kontrol grupları arasındaki reklam geliri farkı (kontrol grubundaki gelirin yüzdesi olarak). || || **In-app purchases per player** | Bir oyuncu başına günlük ortalama [uygulama içi satın alım](https://yandex.com.tr/dev/games/doc/tr/console/purchases.md) sayısı. || || **Ratio of players with in-app purchase*** | Uygulamanın günlük kullanıcıları arasında ödeme yapan kullanıcıların oranı (yüzde olarak). || || **In-App revenue per player*** | Bir oyuncu başına günlük uygulama içi satın alımlardan elde edilen gelir (Ruble). || |# * Bu metrik yalnızca oyun sahibi ve **View income** rolüne sahip geliştiriciler tarafından görüntülenebilir. ### Adım 4. Varyant ayarları {#set-up-variants} Deney sırasında kullanıcılara gösterilecek varyantların ayarlarını yapabilirsiniz. Karşılaştırma varyantı olarak uygulamanızda değişiklik yapılmayan geçerli sürümünü kullanmanızı öneririz; yine de gerekirse bu sürümde de değişiklik yapabilirsiniz. {% note warning %} Bir deneyde en fazla 26 varyant bulunabilir. {% endnote %} Deneysel varyantta ve karşılaştırma varyantında değişiklikler bayraklar yardımıyla ayarlanır. Bayrak elde etmek için [ysdk.getFlags()](https://yandex.com.tr/dev/games/doc/tr/sdk/sdk-config.md) yöntemini kullanın. Uygulamanın kendisinde değişiklik yapmak gerekmez. Bayraklar `string` değer türünü alır. 1. Deney çerçevesinde değişiklik uygulamak istediğiniz varyantın bloğunu seçin. 1. Değiştirilmiş parametreler içeren bayrakları belirtin. {% note warning %} Bir varyantta en fazla 2 bayrak ekleyebilir veya düzenleyebilirsiniz. {% endnote %} Hedef kitle, varyant sayısına göre eşit bölünür ve her varyant yaklaşık olarak aynı sayıda kullanıcıya gösterilir. ### Adım 5. Deneyi kaydetme ve çalıştırma {#save-and-run} Deneyi hemen çalıştırabilir veya taslak olarak kaydederek daha sonra düzenleyebilir ve çalıştırabilirsiniz. Deneyin işlevselliğini istediğiniz zaman test edebilirsiniz. #### Deneyin test edilmesi {#check} Varyantları kontrol edip yaptığınız değişikliklerin nasıl uygulandığını test edebilirsiniz: 1. Test etmek istediğiniz varyant için deneysel bayrakları seçtiğinizden emin olun. 1. **Experiment testing** bloğunda varyant adının yanındaki bağlantıdan geçiş yapın veya başka bir cihazdan giriş yapmak için bağlantıyı kopyalayın. 1. Seçilen bayrak değerleri ile uygulamanın işlevselliğini test edin. Varyantlar test edilirken deney koşulları dikkate alınmaz. #### Örnek hesaplayıcısı {#calculation} **Sample size calculator** bloğunda, belirtilen deney koşullarında sonuçların istatistiksel olarak anlamlı olup olmayacağını kontrol edebilirsiniz. Hesap makinesi, Minimum Algılanabilir Etkiyi (Minimum Detectable Effect, MDE) hesaplar. Mevcut verilere ve belirlenen anlamlılık seviyesine göre, bir metrikteki en küçük tespit edilebilir değişimi belirler. - **Düşük MDE değeri**, metrikteki çok küçük yüzdelik değişimleri bile tespit edebilir. {% note tip %} MDE'yi azaltmak için örneklem büyüklüğünü veya deney süresini artırın. {% endnote %} - **Yüksek MDE değeri**: - Yalnızca belirgin değişiklikleri tespit eder. - Küçük bir kitleyle yapılan deneyler için uygundur. Örnek hesaplayıcı alanlarını, uygulamanız ve deneyinizle ilgili bilgilere uygun olarak doldurun: - **Total players per day** — deney şartları dikkate alınarak günlük kullanıcı sayısı, örneklem büyüklüğü dikkate alınmadan. Örneklem büyüklüğünü **Audience share** kısmında belirtin. **Total players per day** alanının değerini hesaplamak için Players [ürün metriğini kullanın](https://yandex.com.tr/dev/games/doc/tr/concepts/metric.md#product). - **Duration** — deneyim gün olarak süresi. **Date range**/ [Adım 2. Koşullar](#conditions) alanı ile ilişkilidir. - **Audience share** — deneye katılan kullanıcılar kısmı. **Audience share**/ [Adım 2. Koşullar](#conditions) alanı ile ilişkilidir. - **Variants**: Deneydeki varyant sayısı (2-26 adet). - **Number of events per player**: Hedef eylemlerin istatistiksel olarak oyuncu başına düşen sayısı. Bu değerin hesaplanmasında, deney koşullarına uygun olarak istediğiniz dönemdeki hedef eylemlerin sayısı o dönemdeki benzersiz kullanıcı sayısına bölünür. Hedef eylem, öncelikli metriğe göre seçilir. Bir deney çerçevesinde birden fazla metriği test etmek için, metriklerden her biri için ayrı ayrı hesaplama yapın. **Borders of the detected effect**: İstatistiksel olarak anlamlı olacak göstergeleri görmeyi sağlar. Daha az kırmızı, daha çok yeşil olmak üzere, bu sınırların dışında bulunan göstergeler anlamlı olur. Aralarındaki değerler karşılaştırma varyantına ait dönüşümden rastgele sapmalar olabilir. Bu fark çok fazlaysa ve daha küçük metrik değişiklikleriyle ilgileniyorsanız, örneğin süreyi veya hedef kitle payını artırarak deney koşullarını değiştirmeyi deneyin. #### Deneyi çalıştırma {#run} {% note warning %} Deney çalıştırıldıktan sonra koşullar, bayraklar veya varyantlar değiştirilemez. {% endnote %} Deneyi çalıştırmak için **Save and run**. Deneyin özetini okuyun ve **Run**’a tıklayın. Deneme başlatıldığında, **Flags** içlerinden hangilerinin deneye dahil olduğuna dair bilgi görünür. **Experiments** sekmesine gidip raporun ön sürümüne erişebilirsiniz. ## Deney sonuçları raporu {#report} Raporda, karşılaştırma varyantına kıyasla deney varyantında metriklerin istatistiksel olarak anlamlı değişikliklerini görürsünüz. ### Rapor nasıl okunur {#how-to-read-report} Raporu görüntülemek için: 1. [Geliştirici konsoluna](https://games.yandex.com/console){.external} gidin. 1. Uygulama seçin. 1. Aşağıdaki sekmeye gidin **Experiments** ve deney adının altında **View results** butonuna tıklayın. Deneyin kısa açıklamasının altında, kullanılabilen metriklerden herhangi birini ve raporlanacak zaman aralığını seçebilirsiniz. Test edilen tüm varyantlar için seçilen metriğin deney süresi boyunca saptanan değerler grafikte gösterilir. Grafiğin altındaki tabloda sergilenen rakamsal değerler şunları gösterir: - **Number of unique players** gibi **yardımcı metrikler**. - **Ana metrik** Grafiğin altındaki menüden seçilebilir. - **Δ**: Metriğin, deney varyantı ile karşılaştırma varyantı değerlerinin arasındaki fark. - **Δ, %**: Metriğin, deney varyantı ile karşılaştırma varyantı değerlerinin arasındaki fark (karşılaştırma varyantı değerinin yüzdesi olarak gösterilir). - **P-value**: İstatistiksel kriterin işleyiş sonucunun temel sayısal değeri. Bu değer hakkında daha fazla bilgi için [Rapor ne işe yarar](#tasks) bölümünü okuyun. Metriğin rengi: * Yeşil ise, sonuçlar olumlu ve [istatistiksel olarak anlamlıdır](*positive); * Kırmızı ise, sonuçlar olumsuz ve [istatistiksel olarak anlamlıdır](*negative). Rengin, P-value değerine bağlı olarak 3 yoğunluk derecesi vardır. Eşik değerleri: 0,05, 0,01 ve 0,001’dir. Eğer metrikler hiçbir şekilde renklendirilmemişse, deneyin kullanıcıya etkisi olup olmadığını kesin bir şekilde belirlemek mümkün olmayabilir. ### Rapor ne işe yarar {#tasks} Deneyde test edilen varsayımlar: - **H0**: Metriğin değeri bu varyantta karşılaştırma varyantına kıyasla değişmedi. - **H1**: Metriğin değeri bu varyantta karşılaştırma varyantına kıyasla değişti. “Bucketization” yöntemlerinin uygulandığı Mann-Whitney U testi, burada istatistiksel kriter olarak kullanılır. Küçük miktardaki veriler için ayrıca ayrıklık düzeltmeleri de uygulanır. Deney sonuçları P-value kullanılarak değerlendirilir. Bu özellik değeri, metriğin değerinin değişmediği varsayımıyla (örnekte **H0** varsayımı) aynı veya daha ekstrem sonuçları elde etme olasılığını belirlemeyi sağlar. Daha fazla bilgi için [Vikipedi makalesini okuyun](https://en.wikipedia.org/wiki/P-value){.external}. **H0** varsayımı doğru çıkarsa rapordaki ilgili satır renkle işaretlenmez. **H0** varsayımını kabul etmenin, metriğin değişmeyeceği anlamına gelmediği unutulmamalıdır. Bu durumda emin olunabilecek tek şey, etkinin [MDE değerini aşmadığıdır](*mde). Daha ufak değişiklikleri görmek için deneyin süresini uzatın veya hedef kullanıcı kitlesini artırın. Yeni değerleri belirlemek için [Örnek Hesaplayıcı’yı kullanın](#calculation). **H1** varsayımı P-value <= 0,05 düzeyinde doğru çıktığında rapordaki ilgili satır renkle işaretlenir. Varsayım, P-value anlamlılık düzeyiyle karşılaştırılarak (P-value <= alpha) kabul edilir. Varsayılan eşik değeri alpha = 0,05’tir. alpha değerinin Tip I hataların (“yanlış pozitif” hatalarının) olasılığını belirttiği anlaşılmalıdır. Bu durumda çok düşük alpha değerleri kullanmak, Tip II hataların (“yanlış negatif” hatalarının) olasılığını ve MDE’yi artıracağı için önerilmez. ## Deney sonuçlarının kabulü {#accept} 1. [Geliştirici konsoluna](https://games.yandex.com/console){.external} gidin. 1. Uygulama seçin. 1. Aşağıdaki sekmeye gidin **Experiments** ve deney adının altında **View results** butonuna tıklayın. 1. Farklı varyantlardaki test metriklerini inceleyin ve test edilen değişikliklerin başarılı olup olmadığına karar verin. Deneysel varyantı ana varyant olarak kullanmak için **Add flags to config** öğesine tıklayın. Yeni değerler uygulamanın son sürümünde uygulanacaktır. Açık ve net bir sonuca varamadıysanız deney koşullarını değiştirmeyi deneyin. Deneyin yeni süresini veya hedef kitle payını belirlemek için [Örnek Hesaplayıcı’yı kullanın](#calculation). [*mde]: Algılanabilen Minimum Etki (Minimum Detectable Effect). [*positive]: P-value <= 0,05 olduğunda ilgili metrikteki iyileşmenin test edilen bayrak değişikliklerinden kaynaklanma ihtimali %95 veya daha fazla olur. Daha fazla bilgi için aşağıdaki bölüme bkz [{#T}](#tasks). [*negative]: P-value <= 0,05 olduğunda ilgili metrikteki kötüleşmenin test edilen bayrak değişikliklerinden kaynaklanma ihtimali %95 veya daha fazla olur. Daha fazla bilgi için aşağıdaki bölüme bkz [{#T}](#tasks).