行業(yè)資訊
產(chǎn)品推廣
營銷課堂
常見問題
營銷峰會
行業(yè)專題
對于廣大應(yīng)用開發(fā)團隊，尤其是游戲APP的開發(fā)者們來說，持續(xù)優(yōu)化應(yīng)用界面和設(shè)置的常用方式之一是開展 A/B 測試。
什么是 A/B 測試
將兩個測試版本同時呈現(xiàn)給分組的用戶進(jìn)行實驗，并保持各組用戶的組成和屬性相似，最終在測試完成后選出較好的選項實行操作，整個過程我們稱為 A/B 測試。
然而在進(jìn)行測試時，開發(fā)者們一旦遇到新的問題，不得不重新打包一個甚至多個版本來重復(fù)測試和比對數(shù)據(jù)，這一切都需要耗費大量的人力精力。本期內(nèi)容由谷歌的變現(xiàn)合作伙伴 WebEye為大家介紹Firebase 的 A/B 測試流程和特點，學(xué)會之后能幫助大家成為 A/B 測試小能手，優(yōu)化應(yīng)用品質(zhì)，賺取更高收益。
Firebase A/B 測試 3個亮點
1、參數(shù)設(shè)置簡單，容易上手
通過在 Remote Config 里更改幾個參數(shù)值就能自動修改應(yīng)用設(shè)置，不用寫代碼或重新打包數(shù)據(jù)。
2、平均分配流量，提升精度
以設(shè)置百分比的方式平均分配流量，達(dá)到讓全部或部分用戶參與實驗的目標(biāo)，確保每一個變體在測試投放時都擁有相同的用戶屬性，變量試驗靈活。
3、對比試驗結(jié)果，快速決策
Firebase 自帶的 Analytics 工具可呈現(xiàn)實時可視化圖表，幫助開發(fā)者們在觀察試驗結(jié)果后迅速做出判斷。這個特點能有效減免分析人員每日篩數(shù)據(jù)做圖表的重復(fù)工作，之后只需通過查看可視化圖表就能及時了解測試情況。
看完三大特點之后，你是不是心動得想立即試用 Firebase 的測試功能呢？歡迎了解并收藏以下的測試流程。我們以一款個性化主題頁面的應(yīng)用為例，為你分步驟解析。
1.測試目的
在設(shè)計應(yīng)用首頁時，研發(fā)團隊一開始并不確定是否需要在頂部設(shè)置滾動輪播橫幅海報。為了更好地了解用戶的行為與喜好，團隊針對“頂部滾動輪播橫幅”這一元素進(jìn)行了 Firebase A/B 測試。
2.測試準(zhǔn)備工作
在為應(yīng)用開發(fā)一個新的功能點時，開發(fā)人員可以針對這項功能在 Firebase 的 Remote Config 中設(shè)置參數(shù)。此做法不僅可以為之后的 A/B 測試做準(zhǔn)備，而且可以在未來當(dāng)功能點發(fā)生故障時及時調(diào)整或關(guān)閉，盡可能降低因為 bug 帶來的損失。
案例中，研發(fā)團隊首先在 Remote Config 界面設(shè)置了一個頂部滾動橫幅海報空間的參數(shù)，并設(shè)置默認(rèn)值為“TRUE”，即為默認(rèn)打開。完成開關(guān)設(shè)置之后，我們在后續(xù)進(jìn)行 A/B 測試時可以直接通過關(guān)閉功能來完成變體設(shè)置，非常方便。
3.四項測試步驟
步驟一：創(chuàng)建實驗并設(shè)置變量
創(chuàng)建試驗名稱，選擇目標(biāo)用戶人群，選定參考指標(biāo)等。
步驟二：選擇目標(biāo)用戶范圍
在定位目標(biāo)用戶群時，你可以選擇讓所有的用戶都參與到測試中，即在目標(biāo)用戶的百分比填寫100%；或者選擇把控風(fēng)險，僅選擇讓一部分的用戶參與到試驗過程中，比如在此次試驗中僅選擇讓50%的用戶參與到測試中。
步驟三：設(shè)置最主要的參數(shù)指標(biāo)
在 Remote Config 界面中你需要設(shè)定一個最主要的指標(biāo)，用于以后確定試驗中的領(lǐng)先變體，同時額外設(shè)置多個追蹤的其他指標(biāo)，以便更全面地了解試驗數(shù)據(jù)。
例如在這個案例中，團隊將用戶的一日留存作為最主要的參數(shù)指標(biāo)，并額外設(shè)置了三個衡量指標(biāo)：主題瀏覽量，主頁停留時長和應(yīng)用使用時間。
步驟四：設(shè)置對照組與試驗變體
在參數(shù)列表里選擇自己之前設(shè)置好的功能參數(shù)，通過更改一個參數(shù)值就能完成對照組和變體的設(shè)置。在一些針對應(yīng)用界面顏色，廣告時長等參數(shù)的試驗時，也可以同時設(shè)置多個變體，來選擇一個最優(yōu)的配置。
4.數(shù)據(jù)分析
根據(jù)預(yù)設(shè)好的觀測指標(biāo)，F(xiàn)irebase 的 A/B 測試連續(xù)數(shù)據(jù)追蹤與分析，自動評估最優(yōu)試驗結(jié)果。
5.測試結(jié)果
在本次的試驗中，系統(tǒng)根據(jù)數(shù)據(jù)判定沒有頂部滾動橫幅是更好的選擇。因此應(yīng)用團隊在確定結(jié)果后，自動將應(yīng)用全部調(diào)整為首頁沒有滾動橫幅的版本。經(jīng)過這次測試與優(yōu)化，應(yīng)用次日留存提升了19%，整體收益提升23%。
閱讀完此次測試的整個過程，相信你已經(jīng)體會到 Firebase 的 A/B 測試有哪些優(yōu)勢。例如完全不需要技術(shù)開發(fā)人員參與流程，運營人員就能輕松搞定。相信 Firebase 的 A/B 測試會成為你們的新幫手，挖掘出更廣闊的應(yīng)用的潛力與價值。
營銷產(chǎn)品
旗下平臺
聯(lián)系我們
關(guān)注天擎天拓
