AB 測試是什麼?一篇文章搞懂 A/B testing!教學

by 貓熊先生
AB 測試
AB 測試

AB 測試是指提供 A 與 B 兩個版本,並且將流量或是訪客以隨機的形式,區分成 50/50 的比例,一半的比例使用 A 版本,另一半的比例使用 B 版本,然後測試這兩個版本哪個比較好,最後得出其中一個版本比較優異的結果。

AB 測試應用場景很多,網站如果有開發新功能,會用到 A/B testing;網頁設計也會用到 AB 測試,數位行銷上的廣告也很常用到 AB 測試,就連 Google 自己本身也會使用 AB 測試來推斷哪個演算法比較好(參考:Rankbrain)。

如果你還不知道 AB 測試是什麼,本篇文章會做一個完整的教學,並且告訴你,其實 Google 演算法也會用到 AB 測試唷。

AB 測試是什麼?

根據維基百科對「AB 測試」的定義:

A/B測試為一種隨機測試,將兩個不同的東西(即A和B)進行假設比較。該測試運用統計學上的假設檢定和雙母體假設檢定。 A/B測試可以用來測試某一個變量兩個不同版本的差異,一般是讓A和B只有該變量不同,再測試其他人對於A和B的反應差異,再判斷A和B的方式何者較佳。

換句話說,AB 測試即為你有兩個版本,但是你不知道哪個版本比較好,於是經由AB 測試,你可以得出 A 版本跟 B 版本到底哪個好。

如下面這張圖,提供兩個版本給使用者,一半的人使用 A 版本,一半的人使用 B 版本,最後再從使用的結果中收集數據,來判斷到底哪個版本比較好,這就是AB 測試在做的事情。

AB 測試是什麼?
AB 測試是什麼?

如上圖所示,進行 AB 測試時,通常指改變特定功能或是變數,其它都要維持不變,這樣才能得出到底 A 版本的變數比較優異或是 B 版本的變數比較優異。

AB 測試怎麼做?

實務上為了得出正確的結果,AB 測試的流程務必要有公正性。

通常AB 測試必須符合以下幾個條件:

1.AB 測試的人必須分為 50/50 的比例,一半的人使用 A 版本,一半的人使用 B 版本。

2.AB 測試的受試者,必須是隨機性的,而不是特定挑過的人選,並且讓測試的人,隨機一半使用A 版本,隨機一半使用B 版本。

在進行 AB 測試 的時候,測試人員就要不斷收集數據,例如是不是使用其中一個版本的人有更多的訪客停留時間?更低的跳出率?更多的參與度?

為了要透過AB 測試得出哪個版本比較好的結果,通常都會設置 KPI,藉由 KPI 來判斷到底哪個版本比較好。

哪些地方會用到 AB 測試?

AB 測試使用的地方實在太廣了,像是臉書也很常使用AB 測試。舉凡網站功能、網頁設計、廣告設計…等等,都會用到AB 測試。

就連 Google 演算法都用了 AB 測試。

Google 內部工程師曾經討論類似下面這樣的問題:

Google 使用 AB 測試
Google 使用 AB 測試

上面這段英文的意思,貓熊先生簡單解釋如下:

Page1 將使用者想要的結果顯示在網頁中,Page2 直接將結果顯示在複合式摘要中(例如 Meta Description),演算法A讓 P1 排在前面,而使用者點擊了P1;演算法B讓 P2 排名在前面,結果因為使用者直接看到他要的結果了,所以沒有點擊。在這樣的情況下,演算法A 真的比演算法B好嗎?

換句話說,Google 工程師也用 AB 測試來選出比較好的那個演算法。

AB 測試在實務上的操作方式非常多,例如維基百科提供下面的AB 測試例子當作參考。

一個公司擁有一個覆蓋2000名消費者的資料庫,公司現在決定創建 一個帶有折扣代碼的郵件廣告以提高銷售額。為此公司創建了兩個版本的郵件廣告並分別發給其中1000人:第一種內容為「本周六優惠結束!請用優惠代碼A!」,第二種內容為「優惠即將結束,請用優惠代碼B」。兩種廣告除此段廣告詞外所有其他元素均相同。

然後公司通過分析兩種優惠碼的使用情況來研究廣告詞的影響。統計結果表明,使用代碼A的電子郵件的響應率為5%,使用代碼B的電子郵件的響應率為3%。因此,公司確定在這種情況下,第一種用語方式會更有效,並將在以後的銷售中使用類似的說辭。

從上面你應該也發現,凡是你有兩個版本,你想知道哪個版本比較優異,你就可以設計「AB 測試」來得出哪個版本比較好的結果。

AB 測試 常見問題

AB 測試是什麼?

AB 測試是指提供 A 與 B 兩個版本,讓一半的人使用A版本,一半的人使用B版本,最後得出哪個版本比較優異的結果。

AB 測試怎麼做?

要進行AB 測試的時候,必須注意兩點:

第一點是:AB 測試的人必須分為 50/50 的比例,一半的人使用 A 版本,一半的人使用 B 版本。

第二點是:AB 測試的受試者,必須是隨機性的,而不是特定挑過的人選,並且讓測試的人,隨機一半使用A 版本,隨機一半使用B 版本。

在測試結果的過程中,就必須不斷收集數據、設置KPI,最後才能判斷出哪個版本比較好的結論。

AB 測試 觀念總結

其實就連貓熊先生的這個部落格網站,也可以拿來進行AB 測試。

例如如果貓熊先生網站上有放「ADSENSE」廣告的話,貓熊先生想知道到底把廣告放在標題下方還是標題上方比較好,就可以設計一個「AB 測試」,讓一半的人看到在標題上方的廣告,讓另外一半的人看到在標題下方的廣告,並且最後比較一下兩個廣告的點擊跟收益,這樣就能得出結果了。

AB 測試在實務上非常常用,數位行銷人員一定要知道AB 測試的觀念唷。