「A/B測試」中必須避免的三個基本錯誤／解聰文

現在，幾乎每個主要的商務網站都會做「A/B測試」，原因很簡單，因為他們知道每一家競爭對手都在做；而且網路上也可能有人寫文章說過，如果把首頁上的那個藍色按鈕改成紅色，轉換率可以多出258%之類的理論。

不過實際上並不一定如此，有些人就照著這類指示去做，但效果並沒有多好；即使是15年前就開始做A/B測試的偉大Google，測試結果都可能會失準。

以下這些，就是A/B測試初學者常犯的錯誤：

網站流量原本就不夠

在開始做A/B測試之前，原本就要有一定的網站流量，否則統計的信賴區間測試結果會有太高的誤差；換言之，網站的流量越高、而且／或是轉換率越高，就能越快獲得良好的信心水準。

也就是說，網站流量越高，在測試中獲得的轉換率提升幅度，就會越接近A/B測試之後，正式採用版本獲得的實際結果。以目標為消費者的「B2C」網站為例，實務上我們會建議最好有每月100,000不重複訪客的流量；如果是目標為企業的「B2B」網站，則最好有至少每月35,000名的不重複訪客。

除非您的網站每個月都固定有數百萬以上的訪客，否則最好挑流量最大的時候來進行測試。

此外，您網站的每個版本必須有至少50次轉換、而且時間最好能持續一星期以上；因為訪客的行為隨時可能隨著天氣、時間是週末與否、是假日與否等條件而有所改變。

所以在測試時，請留夠長的時間來容納這些變數、並且確保測試期間沒有特別的事件或活動。

一開始就做太複雜的測試

在做第一次測試的時候，請先從簡單的部分開始；要進行有效的A/B測試，必須要保持有效的過程。

您必須從使用者會在網頁上做的各種動作開始，並且觀察「實際因素」進入「理論設計」之後的結果，再看看哪些手法有用、哪些沒用；並一一分析執行過程中的問題出在哪裡，然後記下新的想法，最後分析測試結果。

接下來，可以思考一下測試規模是否有擴大的彈性、是否需要增加更多資源等等；從某些角度來說，做A/B測試有點像是在做重量訓練：不要一開始就舉最重的重量、也不要做太複雜的練習動作。

最適合先列入A/B測試的項目，是將重要頁面簡化之後的效果。

同樣的道理，A/B測試要從簡單的項目開始，把焦點集中在流程中的每個步驟，設定安全停損點、並隨時調整測試內容，以免測試中發生任何意料之外的狀況。

這樣做的好處，在於可以更快看到初步的結果；太早遭遇失敗（即使是最有經驗的專家來操作，也很容易發生），是許多人放棄測試、甚至主張測試無用的原因之一。

一開始就有好的結果，可以讓相關人員更有繼續動機、也更願意鼓勵同事參與。

最適合先列入測試的項目，是將重要頁面簡化之後的效果：滑動幻燈秀真的必要嗎？如果把那些按鈕拿掉會不會更好一點？除了自己觀察之外，有經驗的A/B測試專家應該也能提供很好的建議。

忽略其實很重要的細節

有些人對於網路行銷活動的觀念，是「要玩就要玩大的」；當然，效果大的地方很重要，但小地方也不能就這樣忽視。因為，魔鬼就藏在數字裡。

舉個簡單的例子：如果A/B測試中表現較好的版本，能增加5%的轉換率、而且每個月都有差不多的結果，那麼每年總共就有高達80%的成長；即使是小小的改變，累積起來也是一筆不小的資產。

不過，如果您持續改進網站設計，就比較不容易看到瞬間的大幅變動；如果一直都只看到小幅成長，也不用難過，因為這樣表示您的網站表現已經很好。一般來說，已經相當成熟的網站，是很不容易看到大幅變動的。

所以，即使是小小的改進，也可能代表：1. 網站的體質原本就相當不錯，2. 如果能長時間持續，一段時間之後您將會得到令人驚喜的回報。