實驗畫布:AB測試更好更有效的方法

我一直是世界上一些最好的轉換最佳化思想的一部分,他們似乎對如何執行最好的實驗有直覺的感覺。參與這些團隊的人有著相似的心態。

我想把這個過程變成一個過程,一個能教任何組織如何進行更好實驗的過程。我想用一種有趣的方式使這種思維方式更加明確。後面沒有火箭科學,但是這個框架可能很好地幫助您的團隊驅動更有效的最佳化文化。

介紹實驗畫布:最簡單的方法來測試你的想法

作為建立了PersuasionAPI的科學搖滾明星公司(ScienceRockstar)的聯合創始人,以及Booking。com的前僱員,我偏向於使用說服科學來建立實驗。讓我對此非常清楚。但是經過幾千次實驗,我也知道盲目應用西爾蒂尼原理是不會解決問題的。

實驗畫布:A/B測試更好更有效的方法

大多數Cialdini原則實現起來非常簡單,在很多情況下,它們會提供轉換改進。但在很多情況下,他們也沒有。

這就是為什麼我主要是透過實驗來代替學習。實驗背後的主要思想是,作為一個公司,不斷學習在您的環境中什麼有效,什麼無效。

這就是實驗畫布進來的地方。在與公司進行培訓和諮詢的過程中,我不斷地測試如何使他們成為更好的實驗者,這是我最新版本的實驗畫布,我想與大家分享。

實驗畫布:A/B測試更好更有效的方法

我用來建立這個畫布的兩個非常實用的方法是BJFogg8步設計過程和精益啟動方法。

實驗畫布:A/B測試更好更有效的方法

我調整了方法以最大程度地滿足公司的需求。這個實驗符合基於事實的營銷心態:營銷不應該被觀點所驅動,而應該更多地被事實所驅動。

為什麼還要畫布?

要進行有效和高效的實驗,使用共同語言是有幫助的。其次,如果公司有易於理解和系統的方法,他們可以更容易地進行試驗。透過遵循以下6個步驟,人員或團隊可以制定一個清晰的假設,準備進行測試:

Facts事實

Receptive Audience接受受眾

Touchpoint觸點

Trigger觸發

Desired Behavior期望行為

Key Metrics主要績效指標

把事實作為實驗的核心

透過堅持事實,你更有可能使你的營銷努力有效。但你如何相信以下事實呢?“

An expert’s opinion專家的意見

Outcomes of an user test使用者測試的結果

Competitor Analysis競爭對手分析

Outcomes of an A/B test A/B測試結果

Scientific research科學研究

NPS Score NPS評分

And so on…

你會相信轉換專家的意見勝過先前AB測試的結果嗎?

您實際用NPS分數測量什麼,以及它與使用者測試所得到的洞察力相比如何?

這些都需要討論,但目標不變。你總是試圖把你想檢驗的新營銷理念建立在最可信的事實上。對研究方法的有效性和可靠性進行了仔細的研究。例如NPS得分的有效性是多少?

實驗畫布:A/B測試更好更有效的方法

NPS背後的核心問題是“你有多可能向朋友或同事推薦我們的公司/產品/服務?”“人們必須以0到10的比分來得分。研究是否要回答你所追求的問題是必須的。

就我個人而言,我對人們說他們會做什麼不感興趣,我寧願堅持觀察實際行為的資料。

透過一個觸控點觸發你的觀眾

說服科學(again BJ Fogg的工作在這裡很有幫助)告訴我們,當接觸點在已經激發了行動的觀眾的現有客戶旅程中對齊時,您在轉換方面具有最高的機會。

實驗畫布:A/B測試更好更有效的方法

透過動作呼叫觸發期望的行為將結束迴圈,並最佳化客戶採取行動的機會。

我所看到的最有效的觸發器的最輝煌的例子是,在購買者頭腦中,聰明的人發現了一個觸點,它完美地融入了積極進取的人們的客戶旅程。

實驗畫布:A/B測試更好更有效的方法

當你在著名的“憤怒的小鳥”遊戲中被困在一個關卡上(你非常有動力去完成關卡),一個彈出視窗(觸點)將會出現,透過“帶上雄鷹”(觸發器-CTA)為你提供到下一關卡的免費通行證。

注意資料中出現的期望行為

你可能想讓你的客戶做很多事情:

Sign up for the newsletter註冊簡報

Give a review給予評論

Put an additional product in the shopping cart在購物車中新增其他產品

Use your service every day每天使用您的服務

Check out檢視

Don’t call your toll free customer service line請勿撥打免費客戶服務熱線

Read the terms of agreements page閱讀協議條款頁面

Click on the pretty banners單擊漂亮的橫幅

And so on…

重要的是,你要明確地定義所期望的行為是什麼,以及你如何捕捉這種行為。

你有沒有訪問呼叫中心的資料,你能把它連線到正在使用你網站上的自助服務頁面的人嗎?

哪些資料將通知您,這實際上是新增到購物車中的附加產品,並且還沒有在針對該特定客戶的初始願望列表中?

如果你已經考慮了所有這些,那麼很容易填寫以下假設:

如果我[觸發][我的聽眾]透過[觸點],那麼[期望的行為]就會出現在[資料]中。

這個假設,以及“實驗畫布”中填入的內容,是下一個實驗的開始。你只需要把這個假設翻譯成你網站的實際內容或特徵。

電子商務的逆向工程

Threadless T恤的質量很糟糕,但他們的創造性說服技巧非常棒。

回到當天(2011年6月),他們團隊中的某個人想出了讓空購物車感到悲傷的想法。當你將產品新增到購物車時,它的情緒會改變,它會變得快樂。

實驗畫布:A/B測試更好更有效的方法

這種微妙的使用者反饋讓我起雞皮疙瘩。它真的觸動了我的靈魂。但是電子商務歷史的這一部分也在實驗中堅持嗎?更妙的是,這個美妙的轉換魔法背後的整個想法是什麼?

為了澄清實驗畫布的使用,我將解構無執行緒雙極購物車,就好像我是提出這個想法的人,我想建立一個實驗,看看它是否會工作。

實驗畫布:A/B測試更好更有效的方法

“早上好,老闆”。“Arjan,是什麼?“如果我們的購物車有嚴重的雙相情感障礙,那豈不酷?”“Arjan,你能留下我一個人嗎?“但是……”

Threadless總是很重視Cialdini的原則,比如稀缺性。所以我可以想象他們也嘗試了其他原則。我不在他們的團隊中,所以我只在這裡猜測。但他們可能想要嘗試Cialdini喜歡的原則。

從哪兒開始?在頭腦風暴中,他們希望讓人們在將產品新增到購物車之前花費更少的時間,推斷它會使人們更有可能購買(這當然會解決另一個指標,需要測試更復雜的資料) 。

為了讓人們更快地將產品新增到購物車中,他們最終對使購物車本身更具趣味性和吸引力的選項感到興奮。他們的產品很有趣,所以他們認為他們的觀眾也會喜歡這種俏皮。

這就是有人有一個尤里卡時刻的想法,並想到了購物車的人格化,並試圖在購物車中新增一些東西時情緒化地勒索人們。這聽起來可信嗎?你告訴我。至少我們有更好的方式來討論它並執行我們自己的實驗,看它是否適用於我們的上下文。

賣更多的雞油菌(或任何其他可變的價格)

我有多想,我不能使用客戶的任何實驗和資料來展示你用畫布建立實驗是多麼容易,所以讓我們用一個假設的實驗來銷售價格波動很大的產品:雞油菌。

9月左右,當它是雞油菌的季節時,價格將大幅下降,價格每天都在變化。

實驗畫布:A/B測試更好更有效的方法

我們可以透過什麼樣的實驗來讓現有的蘑菇愛好者購買更多的雞油菌?

如上所述,我們不使用先前研究或其他客戶的資料來源的資料,因此我將使用Cialdini稀缺原則作為我的新實驗的基礎。

實驗畫布:A/B測試更好更有效的方法

此實驗的實際實現可能如下所示,但您可以單獨測試更多替代方案。

實驗畫布:A/B測試更好更有效的方法

如上所述。使用“實驗畫布”獲得最重要的勝利我看到的是,人們和團隊可以更清晰地傳達他們的想法(也可以分離到資料或分析部門),營銷人員可以系統地建立新的實驗,並始終關注事實。這是一種將創造力與資料結合在一起並獲得兩全其美的方式。

看到營銷人員接受實驗畫布是多麼容易,這是非常羞愧的。在大多數情況下,首次接觸帆布營銷人員列印副本並開始使用它進行自己的實驗。有組織的處理實驗的方式確實得到了管理層的注意。

但是,在最佳化實驗過程之前,高階管理層需要透過實驗全力支援創新理念。大事情開始很小,畫布有助於促進的每一個實驗都是一個教訓。

結論

當你想跳上實驗列車,並且想要在你的組織內發展實驗心態,你實際上可以透過採取一些易於遵循的步驟併產生大量合理的實驗,開始與最好的競爭。從這些實驗中學習將需要更多的努力,但至少你奠定了基礎。

我每天都在學習如何提高組織從實驗中學習的能力,我很樂意向你學習。

你會想到畫布嗎?