AB 測試是什麼？一篇文章搞懂 A/B testing！教學

4.4K

AB 測試是指提供 A 與 B 兩個版本，並且將流量或是訪客以隨機的形式，區分成 50/50 的比例，一半的比例使用 A 版本，另一半的比例使用 B 版本，然後測試這兩個版本哪個比較好，最後得出其中一個版本比較優異的結果。

AB 測試應用場景很多，網站如果有開發新功能，會用到 A/B testing；網頁設計也會用到 AB 測試，數位行銷上的廣告也很常用到 AB 測試，就連 Google 自己本身也會使用 AB 測試來推斷哪個演算法比較好（參考：Rankbrain）。

如果你還不知道 AB 測試是什麼，本篇文章會做一個完整的教學，並且告訴你，其實 Google 演算法也會用到 AB 測試唷。

AB 測試是什麼？

根據維基百科對「AB 測試」的定義：

A/B測試為一種隨機測試，將兩個不同的東西（即A和B）進行假設比較。該測試運用統計學上的假設檢定和雙母體假設檢定。 A/B測試可以用來測試某一個變量兩個不同版本的差異，一般是讓A和B只有該變量不同，再測試其他人對於A和B的反應差異，再判斷A和B的方式何者較佳。

換句話說，AB 測試即為你有兩個版本，但是你不知道哪個版本比較好，於是經由AB 測試，你可以得出 A 版本跟 B 版本到底哪個好。

如下面這張圖，提供兩個版本給使用者，一半的人使用 A 版本，一半的人使用 B 版本，最後再從使用的結果中收集數據，來判斷到底哪個版本比較好，這就是AB 測試在做的事情。

如上圖所示，進行 AB 測試時，通常指改變特定功能或是變數，其它都要維持不變，這樣才能得出到底 A 版本的變數比較優異或是 B 版本的變數比較優異。

AB 測試怎麼做？

實務上為了得出正確的結果，AB 測試的流程務必要有公正性。

通常AB 測試必須符合以下幾個條件：

1.AB 測試的人必須分為 50/50 的比例，一半的人使用 A 版本，一半的人使用 B 版本。

2.AB 測試的受試者，必須是隨機性的，而不是特定挑過的人選，並且讓測試的人，隨機一半使用A 版本，隨機一半使用B 版本。

在進行 AB 測試 的時候，測試人員就要不斷收集數據，例如是不是使用其中一個版本的人有更多的訪客停留時間？更低的跳出率？更多的參與度？

為了要透過AB 測試得出哪個版本比較好的結果，通常都會設置 KPI，藉由 KPI 來判斷到底哪個版本比較好。

哪些地方會用到 AB 測試？

AB 測試使用的地方實在太廣了，像是臉書也很常使用AB 測試。舉凡網站功能、網頁設計、廣告設計…等等，都會用到AB 測試。

就連 Google 演算法都用了 AB 測試。

Google 內部工程師曾經討論類似下面這樣的問題：

上面這段英文的意思，貓熊先生簡單解釋如下：

Page1 將使用者想要的結果顯示在網頁中，Page2 直接將結果顯示在複合式摘要中（例如 Meta Description），演算法A讓 P1 排在前面，而使用者點擊了P1；演算法B讓 P2 排名在前面，結果因為使用者直接看到他要的結果了，所以沒有點擊。在這樣的情況下，演算法A 真的比演算法B好嗎？

換句話說，Google 工程師也用 AB 測試來選出比較好的那個演算法。

AB 測試在實務上的操作方式非常多，例如維基百科提供下面的AB 測試例子當作參考。

一個公司擁有一個覆蓋2000名消費者的資料庫，公司現在決定創建 一個帶有折扣代碼的郵件廣告以提高銷售額。為此公司創建了兩個版本的郵件廣告並分別發給其中1000人：第一種內容為「本周六優惠結束！請用優惠代碼A！」，第二種內容為「優惠即將結束，請用優惠代碼B」。兩種廣告除此段廣告詞外所有其他元素均相同。

然後公司通過分析兩種優惠碼的使用情況來研究廣告詞的影響。統計結果表明，使用代碼A的電子郵件的響應率為5％，使用代碼B的電子郵件的響應率為3％。因此，公司確定在這種情況下，第一種用語方式會更有效，並將在以後的銷售中使用類似的說辭。

從上面你應該也發現，凡是你有兩個版本，你想知道哪個版本比較優異，你就可以設計「AB 測試」來得出哪個版本比較好的結果。

AB 測試 常見問題

AB 測試 觀念總結

其實就連貓熊先生的這個部落格網站，也可以拿來進行AB 測試。

例如如果貓熊先生網站上有放「ADSENSE」廣告的話，貓熊先生想知道到底把廣告放在標題下方還是標題上方比較好，就可以設計一個「AB 測試」，讓一半的人看到在標題上方的廣告，讓另外一半的人看到在標題下方的廣告，並且最後比較一下兩個廣告的點擊跟收益，這樣就能得出結果了。

AB 測試在實務上非常常用，數位行銷人員一定要知道AB 測試的觀念唷。