從勇者為王到精益創業，一代又一代的企業在這個瞬息萬變的商業世界中追尋著增長的脈動與規律。大到國外的Google、Netflix、亞馬遜，國內的位元組跳動、BAT，小到十個人的創業公司、一個人的產品思考，所有人都渴望撥開重重迷霧、錨定真正的增長引擎。
在眾多的增長方法中，以資料驅動為核心理念的A/B測試是當下最為炙手可熱的嘗試之一。為了進一步釐清這一增長方法的來龍去脈、可行性與適用範圍、真正價值與常見誤區，「深響」在充分的國內外案頭研究基礎上，訪談到多位一線操盤手，沉澱出當下市場對於A/B測試、資料驅動的主流理解與實際落地應用的情況。
今天為您奉上增長實驗室系列第2篇，《如何用A/B測試，給企業增長開掛？》。
©深響原創 · 作者｜吳鴻鍵
位元組跳動旗下的短影片APP“西瓜影片”，原本叫“頭條影片”。但為了讓其在短影片行業更具品牌辨識度，團隊希望更名。
在經過使用者調研和多輪徵集篩選後，團隊選定4個待選名字進行A/B測試：西瓜影片、奇妙影片、筷子影片、陽光影片。最終的測試結果顯示：“西瓜影片”和“奇妙影片”的點選率位列前二，分別比原名稱增加了5。22%、5。08%的點選率。結合使用者調性等因素綜合考量，“頭條影片”最終更名為“西瓜影片”。
無獨有偶，一次快手內部會議上，聯合創始人程一笑在聽到“只要公司開放更多資源，營收就能大幅提升”的說法時，也只提了一個要求：先做A/B測試。
上述決策過程反映的，其實是兩家數字化時代企業的共同思路：資料驅動、決策不完全依賴個人經驗判斷。而A/B測試，正是該思路的集合體現。
網際網路巨頭先行驗證
大洋彼岸，在Google、Facebook、Netflix、亞馬遜的傳道下，A/B測試已是風靡矽谷的增長利器。在中國，這一方法論先在頭部網際網路企業中應用起來。
目前，BAT均以內部自建的方式應用A/B測試。同樣，新一代網際網路巨頭位元組跳動、美團、滴滴也都建立了自己的A/B測試平臺，比如美團的Gemini、滴滴的阿波羅、今日頭條的Libra。
具體應用上，以即時配送業務為例，美團以“提出假設、定義指標、檢驗假設（A/B測試）、分析學習、釋出”五個步驟完成精細化的策略迭代，實現降本增效。類似的邏輯，滴滴應用在城市運營領域、位元組跳動則更是把A/B測試應用到了產品命名、互動設計、推薦演算法、使用者增長、廣告最佳化等方方面面。
羅徵曾任騰訊廣告副總裁，也在谷歌公司任職八年，目前為“畫素偏移” 聯合創始人與CEO。據他的觀察，目前網際網路大廠普遍接受A/B測試的邏輯。在演算法層面，技術團隊基本都能認同A/B測試的價值。“國內（A/B測試）的起步雖然晚一些，但我不認為國內的發展比國外差。”
但另一重不容忽略的事實是：大廠之外，A/B測試的滲透尚處於早期階段。
即使是同處於網際網路行業的中小企業，A/B測試的應用仍然較少。自建A/B測試平臺需要人才和資金，推進A/B測試需要時間，要得出可靠的測試結果需要足夠的資料量。這些對於中小企業來說都是稀缺的。
此外，
如果業務負責人缺少應用新工具的意識，那麼A/B測試再管用，在公司內部也難以推行。
而退一步講，就算創業者樂於嚐鮮、想靠外包的方式應用A/B測試，市面上也沒有讓人一下就能想到的值得信賴的工具品牌。
網際網路行業尚且如此，傳統行業自不必說。雖然金融行業已有應用A/B測試的案例，但主要針對的還是網際網路相關的產品，比如金融類APP上的功能測試。
問題隨之而來：產業數字化轉型不是當前的大熱點嗎？既然A/B測試的價值已經得到巨頭認可，為什麼還沒有獲得廣泛普及？
這既有客觀條件的約束，也跟關鍵位置上的“人”對於A/B測試的感知有關。
對於中小團隊來說，
A/B測試的成本不菲，無論是時間、研發，還是對應的機會成本。
創業公司從0到1的時候，尤其看重迭代速度，晚幾天釋出版本，目標市場可能就會被對手捷足先登，這樣的損失沒有人願意承受。
再者，
A/B測試存在較高的技術壁壘。
分流是A/B測試的基礎，企業需要建立靠譜的A/B測試平臺，保證科學的流量分割、流量層直接的正互動斥，使得實驗不受干擾。此外，A/B測試平臺的指標設計和解讀、置信度的統計方法，也對應著不小的研發資源投入。
成本和難度之外，A/B測試也對企業本身的資料基建提出要求。
有些企業缺乏堅固的資料基建，並不具備使用A/B測試的能力。而當一個既認可“資料驅動”理念、資料基建也過關的企業想推進A/B測試時，它會發現，即使能夠對資料進行聯動打通，市場上也少有成熟、可靠的A/B測試產品可供使用。
目前，國內獨立第三方A/B測試工具還處於相對分散的狀態，尚待龍頭企業樹立標杆。部分網際網路大廠雖然錘鍊出了一些可靠的A/B測試產品，但是對外開放還處於起步階段。
至於關鍵位置上的“人”的問題，一個典型的場景是，部分掌握話語權的產品經理更願意相信自己對於人性的認知和對於審美的把握，在其看來，資料只是輔助，真正影響決策的，還得是人的經驗和洞察。
這或許不是行業環境的問題，而要追溯到中外教育理念的差異。A/B測試的理念從根源上更貼近西方教育中的邏輯、實驗、辯證思維。在國外，A/B測試基本不需要在理念層面做推廣，而國內的情況則明顯不同。
諸多的客觀約束、加上人們對A/B測試的認識存在差異，種種因素的疊加下，行業存在不少對A/B測試的誤讀和兩極化判斷。但好在，已經有不少資深從業者躬身入局，他們的切身感受，正是破解誤讀的關鍵。
A/B測試的三大誤區
根據「深響」與網際網路資深從業者，尤其是有過A/B測試實踐經驗的專業人士的交流，目前行業記憶體在的誤讀和兩極化判斷，主要體現為以下三大誤區：
誤區一：A/B測試是在浪費資源。
不只是中小企業，大公司內部在迭代業務時也會存在類似的質疑。除了上文已經提到的搭建測試平臺所需的成本，A/B測試的資源投入還以更直觀的形式體現於執行過程中。
一個最簡單的例子，某公司旗下的APP想要提升註冊轉化，此時，業務部門想應用A/B測試，準備測試方案的過程需要協調各部門（比如設計、產品、運營）共同完成，而測試過程本身也是個需要投入時間的事情。測試做完，如果A/B測試效果不夠突出，公司內部很容易出現“折騰一趟不划算”的想法。
成本，是A/B測試無法規避的問題。“越小的公司，對成本的容忍度就越低。這永遠是一個取捨的問題”，羅徵表示。
不過，小公司應用A/B測試的情況也不算罕見。早在2012年，有瞰學社創始人&CEO、知名網際網路運營專家黃有璨就接觸過A/B測試，豐富的網際網路從業經驗和創業經驗，讓其對A/B測試的價值有更切身的體會。
在黃有璨看來，如果公司業務處於早期，那麼A/B測試稍微控制不好，肯定會造成一定資源浪費。但當業務比較成熟時，管理者思考的是：
如果不做精細的A/B測試，要承擔的風險是什麼？
“假如這個測試能直接影響一年的收入，那麼不做A/B測試，我要承擔的風險可能是浪費三四個月的時間（在錯誤的決策上）。如果我投入資源做個詳細的A/B測試，可能要花一百萬或兩百萬，但這能幫助我節省下來三到四個月的風險，這筆帳肯定能算明白。”黃有璨告訴「深響」。
言而總之，A/B測試的成本問題，說到底是價效比問題。而看待A/B測試的價效比，不能只是靜態地看測試的瞬間，而是要放長線來考慮。
如果一次A/B測試幫助企業前置思考，避免了錯誤方案的執行，那絕對是“花小錢辦大事”，不存在資源浪費一說。
如何評價一個A/B測試是好是壞？在黃有璨看來，一方面要看A/B測試本身的成本夠不夠低，或者效率是不是最高，即財務上要能算得過來，測試反饋也要足夠快；另一方面，A/B測試結論的科學性和準確性和成本同樣重要。
交流中，黃有璨多次提到了變數控制的難度——使用者的構成、時間上的差異、以及使用者來源渠道的不同等，都會影響A/B測試的準確性。只有當測試環境相對乾淨，不受額外變數的干擾，測試結果才有參考的價值。
“誰來設計A/B測試，他的思考或邏輯清晰不清晰，他是否能借A/B測試的資訊反饋快速確定結論。這件事其實是更加重要的。”黃有璨表示。
誤區二：小公司不需要A/B測試。
小公司需不需要A/B測試？這個問題其實已經把A/B測試預設成“大費周章”的事，但流程只是表象，A/B測試真正重要的是其“對照實驗”和“資料驅動”的核心理念。
黃有璨向「深響」介紹了一段親身經歷，在公司業務還未成熟的時候，為了測試一個課程的詳情頁轉化效率，黃有璨自己做了兩三個版本的詳情頁，將其放在不同的使用者樣本中進行測試，以“人肉”手段跑完了A/B測試，最後選用了資料最好的詳情頁版本。
在黃有璨看來，A/B測試不是巨頭的專利，它小到“一個人都可以做”。當業務模型得到驗證，團隊規模發展到幾百人時，需要做A/B測試的場景也會越來越多，這時公司可以考慮讓第三方工具幫忙提升效率。
上述經歷其實都在說明一件事：
做不做A/B測試，跟公司規模無關。
如果在意成本問題，那麼接入第三方工具會是一個值得考慮的選擇。
在這方面，羅徵向「深響」著重表達了自己對於小公司接入第三方工具的認可。“大部分小廠可以採用專門的SaaS服務，大廠通常會因為需求比較複雜和獨特而傾向自研。”
認為A/B測試浪費資源也好，認為小公司不需要A/B測試也好，這些其實都是可以透過“算賬”解決的問題。全盤否定不可取，而盲目買單A/B測試的做法，同樣不是明智之舉。
誤區三：A/B測試是萬能的。
網際網路造就了諸多增長神話，也顛覆了各行各業的底層邏輯。因此，不少從業者將“資料驅動”、尤其是以資料驅動為核心理念的A/B測試奉為信仰，他們把A/B測試當作評判一切的標準，試圖將所有業務進行量化。
這是個典型的“手拿錘子，看什麼都是釘子”的思路。
據羅徵總結，A/B測試更適用於使用者數量大、且使用者之間關聯度不高，結果容易以資料衡量的領域，如廣告行業、搜尋系統等。
如果行業本身並不具備這些特徵，或者壓根沒法執行A/B測試，那麼A/B測試的價值就很難體現。
羅徵向「深響」描述了一個無法應用A/B測試的場景：大部分內容行業，比如綜藝節目，就基本不可能做A/B測試，而且做產品原始設計的時候，其實也是不能A/B測試的。
“有些事情就沒有辦法A/B測試，或者A/B測試的成本過大，你就做不到了。”
A/B測試的真正價值
生於矽谷的光鮮背景、加上國內網際網路大廠的帶貨，A/B測試概念的熱度與日俱增。但太高的起點也讓其被太多模糊焦點的資訊所裹挾。糾偏的第一步，在於回本溯源，回答一個所有企業都關心的問題：A/B測試真正的價值到底是什麼？
第一點，最直觀的一點，A/B測試能真正落地資料驅動，幫助企業科學決策。
在傳統的經驗主義運營模式下，業務負責人能力再強，也難免有失手的時候。但作為一種前置驗證的手段，A/B測試的價值不僅能幫助企業準確評估哪個方案更好，還能評估出好多少、為決策提供量化參考。
今日頭條APP曾因整體UI風格偏大齡被詬病。為了吸引更多年輕使用者和女性使用者，也為了在可接受的負向範圍內改一版使用者評價更高的UI，今日頭條透過控制變數，開展了多次A/B測試，變數包括頭部色值飽和度、字號、字重、文字間距、底部tab icon等。
經過多次測試，今日頭條APP最終找到了一套綜合效果最好的UI版本。新UI上線4個月後，圖文類時長顯著提升1。66%、搜尋滲透顯著提升1。47%。高頻使用者逐漸適應新UI的同時，使用者調研也顯示，年輕和女性使用者對新UI表現出了更明顯的偏好。
今日頭條APP的案例正好解釋了量化參考為何重要。
在方案的實際執行中，業務人員需要在資金、人力、時間、後續維護等方面做好平衡，需要找到邊際效益的臨界點。A/B測試對不同方案效果的量化，恰好提供了對應的參考。
更重要的是，在不斷的測試過程中，企業還將沉澱知識，建立起一套科學的運營、最佳化體系。這樣一來，業務的創新不再高度依賴於某個關鍵位置上的“人”，領導者敢於放權，自下而上的創新得以實現。
第二點，同時也是科學決策的另一面，A/B測試能幫助企業規避風險。
假如一個帶有錯誤特性的新版本全量推給使用者，影響的可能是千萬、甚至上億使用者的體驗，後續挽回損失的代價也同樣讓企業難以承受。A/B測試可以透過分流出小部分流量進行測試，將負面影響控制在實驗範圍內，防止錯誤決策造成更大的損失。
“A/B測試本質上，是幫助我們提高選擇、判斷的準確性，以及提升決策時的效率，降低成本。”黃有璨告訴「深響」。
第三點，從企業發展的長遠角度看，A/B測試是企業複利式增長的新標配，其儘可能地讓企業的每個決策都帶來正向收益，持續迴圈，最終實現指數級增長。
一家公司，從初創企業到獨角獸，再到成為行業巨頭，整個過程中最令人驚歎的地方往往是：這家企業需要在每個重要節點都做出正確的選擇。如果稍有不慎，哪怕只是一次錯誤，也可能讓原處於高歌猛進狀態的企業走起下坡路。
道理不難懂，難點在於，沒有人能看到未來，只能盡最大努力基於已有資訊作判斷。而A/B測試，是一個把消費者行為資料化、用資料對行為進行量化反饋的過程，這對企業預判趨勢大有裨益。
從心理上，使用者往往不知道自己要什麼，但其選擇偏好其實已經反映在了行為上，只是市場尚未有相應供給，告訴他們“你要的是這個”罷了。透過A/B測試，企業能夠知曉消費者的選擇偏好，由此動態做出決策，這相當於把“使用者中心”往前再推一步，變成“使用者決策中心”，確保每個決策都為企業帶來正向收益，實現複利效應。
簡言之，A/B測試讓業務迭代、新品研發能夠有的放矢，原本不確定的決策，將變成確定的決策，企業得以精準洞察商機。
除了驅動增長之外，A/B測試還可以幫助企業“做減法”。當前，很多企業推出了五花八門的服務，試圖在廣撒網中找到增長密碼，但使用者體驗不增反降。而A/B測試，恰能幫助企業精準地“做減法”，幫使用者簡化場景中的選擇。
最後，從更底層的理念層面看，A/B測試是落實資料驅動理念的最佳工具。
讓理念得到落實，進而輻射、滲透到企業的血脈中，才是A/B測試更大的價值。
小到UI設計的改變、轉發按鈕的放置，大到組織的迭代升級，A/B測試的價值可以貫穿企業增長的全過程。
但要做好A/B測試並不容易，需要有足夠專業的人來設計測試方案，也需要決策者對A/B測試有足夠的認同。這樣，A/B測試才不至於在推行之初就阻力重重。
萬事開頭難，何況是一個投入先於效果、且極其考驗決策者決心的工程。唯一可以確定的是，A/B測試的重要性日益凸顯，價值已經非常明確。挑戰當然有，但當企業真正掌握這把增長利劍時，業務增長路徑就會豁然開朗。
原創內容轉載開白可直接在文後留言
“讀者群 · 商務合作 · 應聘 · 瞭解深響”
請移步「選單欄」
更多內容，歡迎關注
