<del id="957j9"></del>
<listing id="957j9"><listing id="957j9"></listing></listing>
<ruby id="957j9"><ins id="957j9"></ins></ruby>
<menuitem id="957j9"><ruby id="957j9"></ruby></menuitem><listing id="957j9"><del id="957j9"></del></listing>
<menuitem id="957j9"></menuitem>
<menuitem id="957j9"><cite id="957j9"></cite></menuitem>

以抖音為案例,講清楚“用戶增長實驗”在做什么

不懂技術怎么做產品?15天在線學習,補齊產品經理必備技術知識,再也不被開發忽悠。了解一下>

你是否知道什么是用戶增長實驗?你又了解用戶增長實驗究竟是在做什么?它如何產生作用的呢?針對這些疑惑,筆者將以抖音為案例,聊聊用戶增長實驗在做什么。

摘要:之前簡單介紹過用戶增長(UG)核心工作流:分析數據→形成假設→實驗驗證,大致描述了每一步在做些什么?,F在用一個大家可能注意到過的案例,來嘗試逆推和重現相關的工作場景,爭取講清楚UG實驗在做什么。

案例簡介:在刷抖音時部分用戶可能會留意到,完成2次播放后分享按鈕變成了自己的好友頭像,而部分用戶依然是常規的分享圖標。

對了,這就是一個簡單的UG實驗。實驗涉及到的環節是類似的,我們不妨拿這個例子來做代表,主要講:

  1. 為什么要做這個實驗;
  2. 實驗的設計和下發;
  3. 實驗分析;
  4. 實驗價值提煉。

案例重點講每一步應該做什么,具體數值是杜撰的且并不重要,如有雷同純屬巧合。

圖1實驗組和對照組的用戶界面

1 為什么要做這個實驗

這個案例我只是借用,下面的表述主要從旁觀角度去做逆推和重現。

1.1 首先關注策略目標

抖音為什么要下發這個策略?不難看出,直接目的是提升用戶點擊分享按鈕的比例(分享率)。用最常分享的「好友頭像」替換「分享按鈕」是否能提升分享率,需要實驗來驗證。

1.2 提升分享率的目的是什么

曾經了解過一些經驗:用戶群的互動率(轉評贊的用戶占比)與其留存率很好的正相關。

從產品邏輯上很好理解:用戶有互動,就會收到反饋,持續互動會產生粘性。假想你的微信好友很少,沒有收到信息,你還會經常打開嗎?假設你每次發朋友圈,沒人點贊評論,勢必會大大削弱發圈的積極性。

所以,抖音這么做,更進一步的目標應該是提升用戶留存,而留存和用戶規模又高度相關,策略的最終目標應該還是提升DAU、時長、收入這些規模數據。

這些都是前期分析數據的關鍵產出,而「提升分享率能夠提升DAU和時長」是一個假設,需要實驗驗證。

小結

這個實驗雖小,但是它背后關聯到最核心的增長目標。實驗效果的評估,我們也需要關注到這些「結果指標」,而不僅僅是分享按鈕的點擊率、分享完成率、分享的回流率等等「過程指標」。

2 實驗的設計和下發

2.1 實驗的設計

我們通常會使用隨機對照實驗,市面上大家基本上用AB實驗來代指隨機對照實驗。通過對比實驗組和對照組的指標差異,來驗證下發不同策略的兩組間,是否產生了顯著差異。隨機對照實驗最核心的兩個要點是「隨機分組」和「單一變量」:隨機分組,目的是保證實驗組和對照組用戶組成、特點一致,可以進行對比,確保差異來自策略差異而非用戶群差異;單一變量,目的是方便將實驗結果的差異準確地歸因到某個策略差異上。

2.2 實驗的下發

如何實現隨機分組呢?

通常將用戶ID(通常是在用戶首次使用app時自動生成的一個字符串)經過一些隨機算法(常用hash算法)的處理,理論上保證用戶的特征與隨機算法處理后的用戶ID不存在依賴關系,最后依據處理后ID進行分組。即便如此,分組的充分隨機,依然是一個行業難題,所以會通過實驗前的空跑期或叫AA實驗來確認不同組間在實驗前是否無偏差。

這個案例只關心到隨機分組,假設我們隨機從大盤活躍用戶中取了一部分人群,再隨機分為實驗組和對照組,就可以開始實驗了。

表1實驗組和對照組的流量分配

實際工作中,往往會碰到流量少,而同時需要做的實驗多,這就需要引入正交分層。分層的目的在于形成一系列互不干擾的「平行宇宙」,便于在流量不足時,同時進行很多實驗。但是,正交分層有適用條件,我們后面單獨開一篇來講正交分層有哪些要點和坑。

這個案例沒這么復雜,只需要將實驗組下發「分享按鈕替換為朋友圈頭像」的指令,而對照組下發「保持原狀」的指令(注意:這對照組不是「不下發指令」,因為這樣可能會涉及到SRM問題,同樣,容我后面單獨拿一篇來介紹)。實際工作中,還會碰到多個實驗變量,如果需要評估每一個變量的影響,就需要確保存在「僅有一個變量差異」的兩個實驗組。

3 實驗分析

3.1 看哪些指標

回歸到實驗目的,我們直接關注分享率的提升,進一步關注用戶留存率的提升,最后想看到對用戶DAU、時長等是否有提升。那我們需要關注的指標就有:

表2實驗組和對照組的觀測指標,數值均為杜撰

3.2 實驗結果可信嗎

判斷實驗結果是否可信,涉及到一個「顯著性」的概念,即實驗組和對照組的指標差異是不是能滿足統計顯著性。統計顯著性,意味著我們看到的提升,并不是因為隨機波動造成,而是策略影響的。評估顯著性,通常用表2中的P-value、統計功效等來說明,完善的實驗平臺,可以直接輸出差異是否顯著的結論。如果對顯著性感興趣,建議大家找一本統計學的書詳細了解。

參照表2中的數據,基本上可以說明該策略能夠顯著提升分享率、次留、DAU和時長。

3.3 選多少樣本量合適

直觀的認識:樣本量足夠大時,即使很小的差異也可能是置信的;而樣本量太小時,即使比較大的差異,也可能是不置信的。只要分組充分的隨機,樣本量大更可能得到置信的結果,但是受限于各方面的成本考量,我們往往需要評估選擇多少樣本量。

這里就涉及到一個「最小樣本量」的問題:通過對實驗差異的預估,推算出每一組用最少用多少樣本量才能確保實驗結果差異是置信的,而不是隨機的誤差。相關的,還會涉及到一個「實驗時長」的問題,簡單來說,實驗時長=最小樣本量/每日流量。

3.4 想長期觀察這個效果,應該怎么辦

UI修改帶來的點擊提升,通??赡苁切缕嫘?,所以我們的實驗盡量拉長至兩個以上的用戶活躍周期。比如某些用戶是周末刷短視頻,周中很少刷,使用頻次的一個完整的活躍周期就是一周。新奇效應通常最多持續一個活躍周期,我們選擇觀察兩個活躍周期,大概率能看到用戶回歸常態下的最終提升量。當然,如果有必要,我們也可以保持這兩個實驗組和對照組長期有效,看更長久的影響。

4 實驗價值提煉

實驗完成后,我們通??梢允盏胶芏嘟Y果,如果不做及時的復盤,這些數據的價值很可能只是冰山一角。這一部分,我跳出本篇的抖音案例來說。

4.1 及時復盤

及時復盤幫助我們盡早的知道策略是否有效,甚至盡早反推實驗是不是設計合理。

假設實驗差異置信,這個策略的整體效果對總體業務有價值嗎?

通常用戶量足夠大時,很小的指標提升也是置信的,但實際上可能對增長目標幫助不大。我們需要橫向來對比不同策略,對同一指標的提升效果,決定哪一個更好。

假設實驗差異不置信,增長策略從下發到生效是一個「鏈條」,在哪個節點斷掉了?為什么?及時復盤能夠盡快明確是策略沒成功下發,還是策略無效果。

4.2 下鉆分析

很多時候我們初看數據會得到實驗差異不顯著,效果提升不明顯的結果。但是這不妨礙我們去做進一步的挖掘:哪些人群更有效、哪些人群沒有效果,可通過實驗下鉆得到初步答案,再針對有效人群設計新的實驗去重復驗證,針對無效人群做進一步的分析,進一步調整策略。

實驗下鉆依賴于我們對用戶屬性有初步的標簽,在實驗分析時能夠用戶進行下鉆,或者說篩選。需要強調:下鉆后用戶量少,不能保證置信度;另一方面這種“后驗”的方式會存在分組不均的潛在風險,需要我們針對下鉆結果重復去做實驗,才能得到可靠的結論。

4.3 可以做哪些新的策略迭代

通過漏斗分析,我們可以看到策略的斷點,策略是在哪一步開始失效的。通過產品優化(頁面加載、按鈕樣式、引導樣式、文案等等)、運營優化(調整策略下發時機、頻次;調整參數如金額、展現時長等等)。

這一部分是產品經理最為擅長的,UG無非是強調基于準確結論來判斷問題的關鍵,去高優先級推進最關鍵的迭代。

4.4 有沒有哪些通用的價值提煉

一個實驗結束,我們能夠得到的應該遠超過實驗指標提升。上升到對用戶價值提升的視角,這些策略之所以有用,是在哪些地方提升了用戶價值,是新體驗遠超過了舊體驗,還是極大降低了用戶成本?這些認知是否有可能推廣到相關領域、推廣到類似場景?

這些我認為是UG更大的課題,也需要產品經理們更多的思考、總結和新的嘗試,這同時也是數據驅動的價值和樂趣~

總結

這個案例,麻雀雖小五臟俱全,需要關注的要點,最后再做一下梳理。

  1. 策略的目標是什么,需要看到哪些指標,如何評判
  2. 實驗設計時需要關注哪些地方,隨機分組、最小樣本量、單一變量這幾個最為基礎;正交分層、SRM問題等我們后續單獨介紹
  3. 實驗結果怎么分析,如何挖掘價值,產生進一步的假設或迭代

文中不免錯漏,辛苦指出!

后續會跟進「實驗分析三部曲」一點點介紹各種主觀/客觀造成的分析難點:

  1. 增長實驗中的增量分析方法
  2. 準確量化不容易-基礎篇
  3. 準確量化不容易-進階篇

 

作者:jinlei886;5年+用戶增長的一手經驗,前騰訊、滴滴出行用戶增長產品經理,專注增長策略挖掘、增長工具搭建、實驗設計分析。本碩博均就讀于浙江大學高分子系。微信公眾號:用戶增長實戰筆記

本文由 @jinlei886 原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基于CC0協議

給作者打賞,鼓勵TA抓緊創作!
評論
歡迎留言討論~!
  1. 最近刷抖音比較多,看到有的分享按鈕有差異,不過從顯性數據來看,貌似有頭像的分享率要低很多啊

    回復
    1. 據當事人分享的一手數據,這個頭像至少增加了不少的分享率

      回復
    2. 2pp以上

      回復
    3. 我也是不解為何會提升數據指標 – -#,我也認為會下降數據的

      回復
  2. 1

    回復
  3. 有點好奇,這個好友頭像的按鈕,是否也是選擇挑選的好友?就是點擊直接發送給該好友嘛?還是只是好友頭像,但點擊仍是分享的頁面

    回復
    1. 你可以試一下抖音就好了惹~

      回復
    2. 我只有那個分享的圖標呀

      回復
  4. 長知識,期待后面的文章。尤其SRM問題,這個概念第一次聽說,很想看作者下回分解

    回復
    1. 感謝關注~ 但是實驗不是太受關注,哈哈 稍后我寫

      回復
圈子
關注微信視頻號
大家都在問
江西十一选五-一定牛