定義：ABtest本身其實(shí)是物理學(xué)的“控制變量法”，通過(guò)只改變一個(gè)因素來(lái)確定其變化對(duì)cr或者收益的影響。其本身具備統(tǒng)計(jì)意義，而且具備實(shí)際意義。試想一下如果沒(méi)有ABtest，那新項(xiàng)目上線后的收益如何排除季節(jié)因素、市場(chǎng)環(huán)境因素的影響，而且一個(gè)頁(yè)面上如果同時(shí)做多處改動(dòng)，如何評(píng)判是哪個(gè)改動(dòng)造成的收益或損失?這對(duì)一個(gè)理性思維的人是不可接受的。

簡(jiǎn)單理解為將一群人分成兩類，通過(guò)展示新舊版version A/B來(lái)測(cè)試哪種版本效果好，差異是多少。

ABtest流程

• ABtest數(shù)據(jù)流：APP啟動(dòng)時(shí)，公共框架會(huì)拉取所有線上abtest的試驗(yàn)號(hào)和對(duì)應(yīng)版本(所有BU)存入本地，當(dāng)用戶進(jìn)入機(jī)票頻道時(shí)候，在特定場(chǎng)景觸發(fā)本地實(shí)驗(yàn)號(hào)調(diào)用。比如往返實(shí)驗(yàn)，在用戶首頁(yè)點(diǎn)擊往返搜索時(shí)，開(kāi)發(fā)會(huì)從本地文件中查詢160519_fld_round試驗(yàn)號(hào)該用戶的對(duì)應(yīng)版本，確定跳轉(zhuǎn)新/舊版頁(yè)面。在試驗(yàn)號(hào)接收到調(diào)用時(shí)，同時(shí)觸發(fā)一個(gè)abtest的trace埋點(diǎn)o_abtest_expresult，該埋點(diǎn)會(huì)記錄clientcode,sid,pvid,試驗(yàn)號(hào)及版本信息，最終經(jīng)過(guò)ETL，BI會(huì)匯總一張AB實(shí)驗(yàn)表，將上述信息匯總，便于后續(xù)做關(guān)聯(lián)計(jì)算。

• 分流計(jì)算：每個(gè)設(shè)備在剛啟動(dòng)的時(shí)候會(huì)根據(jù)設(shè)備號(hào)+試驗(yàn)號(hào)+隨機(jī)數(shù)組成一串N位數(shù)，對(duì)100取模的余數(shù)從0-99，假設(shè)ABCD四個(gè)版本流量 10:70:10:10的情況下，則余數(shù)0-9為A版、10-79為B版、80-89為C版、90-99為D版。A版為默認(rèn)版，如果尾數(shù)異常(Null或溢出)，則走A版。
• 版本說(shuō)明：如果僅有新舊兩個(gè)版本的情況下，一般會(huì)設(shè)置ABCD四個(gè)版本，其中ACD為舊版，B為新版。(如果有多個(gè)迭代新版，則從EFG開(kāi)始)。

AA測(cè)試：CD版同為舊版，且流量各為B版一半，在流量隨機(jī)分配的情況，通過(guò)對(duì)比CD版的數(shù)據(jù)表現(xiàn)來(lái)驗(yàn)證舊版的狀態(tài)是穩(wěn)定的。

AB測(cè)試：在確保CD數(shù)據(jù)相對(duì)穩(wěn)定的前提下，再對(duì)比B和ACD版本的數(shù)據(jù)，來(lái)對(duì)比新舊版的差異。

兜底版本A：BCD的剩余流量走A版，版本異常的情況下走A版

• 實(shí)驗(yàn)正交性：

• 非正交實(shí)驗(yàn)，如左圖展示，在舊版的基礎(chǔ)上再做區(qū)分，會(huì)因?yàn)闃颖緮?shù)量的問(wèn)題而限制同時(shí)進(jìn)行的實(shí)驗(yàn)個(gè)數(shù)，而且無(wú)法評(píng)估兩個(gè)新版同時(shí)存在的影響。
• 正交試驗(yàn)：右圖展示，不同實(shí)驗(yàn)流量完全打散隨機(jī)分配，上一個(gè)實(shí)驗(yàn)與下一個(gè)實(shí)驗(yàn)理論上流量上沒(méi)有關(guān)聯(lián)，這樣可以在一個(gè)頁(yè)面同時(shí)進(jìn)行多項(xiàng)實(shí)驗(yàn)。

這里再提一個(gè)Magic Number = 7，雖然理論上單頁(yè)面上同時(shí)進(jìn)行的正交試驗(yàn)數(shù)量沒(méi)有上線，但是經(jīng)過(guò)長(zhǎng)期經(jīng)驗(yàn)積累，單頁(yè)面同時(shí)線上實(shí)驗(yàn)不要超過(guò)7，否則會(huì)造成難以捉摸的幺蛾子異常。

• 埋點(diǎn)下線機(jī)制：

像ABtest里面的埋點(diǎn)觸發(fā)場(chǎng)景埋點(diǎn)還是由開(kāi)發(fā)控制的，也還是會(huì)存在埋點(diǎn)不準(zhǔn)確的情況，比如說(shuō)往返的實(shí)驗(yàn)，觸發(fā)場(chǎng)景是在首頁(yè)點(diǎn)擊往返搜索，理論上去程列表頁(yè)的UV應(yīng)該是參與式樣的樣本數(shù)抑制。實(shí)際情況是，去程列表頁(yè)30W的UV，但ABT的報(bào)表顯示每天樣本為50W，經(jīng)過(guò)sql驗(yàn)算兩者交集為20W,就說(shuō)明有10W人是在往返流程但并沒(méi)有參與實(shí)驗(yàn)(數(shù)據(jù)經(jīng)過(guò)脫敏處理，但不改變相對(duì)位置)。

所以基于這樣的幺蛾子，在ABT結(jié)束后，既要?jiǎng)h除代碼，又要實(shí)驗(yàn)流量全開(kāi)100%

• 流量調(diào)整100%目的：將歷史版本的客戶端舊版規(guī)避，需要操作100%流量。
• 下線代碼：保證appのsize不會(huì)過(guò)度冗余，同時(shí)因埋點(diǎn)場(chǎng)景的問(wèn)題，有些時(shí)候雖然流量全切100%，但仍有部分流量走舊版(非常詭異)，所以將客戶端代碼下掉是非常必要。

其他說(shuō)明：

• 在任何情況下，分析的基礎(chǔ)條件就是流量隨機(jī)分配，如果質(zhì)疑這件事情，則整個(gè)abtest就失去意義.
• 實(shí)驗(yàn)分流一般采用設(shè)備號(hào)clientcode,但是也可以根據(jù)uid來(lái)，但情況較少
• 對(duì)于實(shí)驗(yàn)的顯著性指標(biāo)P值一般使用較少且不易理解，就不做過(guò)多解釋(一年也沒(méi)怎么用這個(gè)指標(biāo))
• 分流調(diào)節(jié)機(jī)制，新版流量不要忽上忽下，特別是涉及到核心頁(yè)面的時(shí)候，否則可能會(huì)造成用戶看到的頁(yè)面反復(fù)變化，增加適應(yīng)時(shí)間和學(xué)習(xí)成本以及影響用戶體驗(yàn)。

分析數(shù)據(jù)

ABT的目的：

abtest是希望通過(guò)如何改進(jìn)新版優(yōu)于舊版，而不是通過(guò)abtest證明新版弱于舊版而下線實(shí)驗(yàn)，所以需要有效地分析數(shù)據(jù)。

如何看圖表：

圖表反映時(shí)間趨勢(shì)，在abtest中表現(xiàn)為新舊版本兩條折線圖，且一般會(huì)出現(xiàn)交叉的情況，那我們就需要判斷這些交叉是有隨機(jī)性波動(dòng)還是實(shí)驗(yàn)的效果，我在實(shí)踐中總結(jié)簡(jiǎn)單易用的一條原則是：“抓大放小”。

• 抓大放小(個(gè)別表現(xiàn)不影響整體趨勢(shì))：當(dāng)你遮住有限個(gè)點(diǎn)的時(shí)候，不影響整體的差異。比如下圖，當(dāng)你遮住2-11和2-13兩天的數(shù)據(jù)時(shí)，會(huì)發(fā)現(xiàn)藍(lán)色B版優(yōu)于紅色舊版。(當(dāng)然遮住點(diǎn)的數(shù)量因人而異，一般不超過(guò)總量10%)

這張圖就很難用抓大放小的方式來(lái)判斷差異，無(wú)法證明是新版好還是舊版好，這時(shí)候需要分解這個(gè)指標(biāo)來(lái)繼續(xù)分析。

機(jī)票的核心指標(biāo)是轉(zhuǎn)化率CR(conversion rate)和收益(revenue)，通常他們之間的關(guān)系如下圖所示。

攜程機(jī)票前臺(tái)以scrum Team的形式迭代，每個(gè)team對(duì)于需求的評(píng)審是以roi(投入產(chǎn)出比，return on investment)來(lái)決定項(xiàng)目的優(yōu)先級(jí)，而return可能是cr的提升，也可能是單票收入的提升。

對(duì)于上線實(shí)驗(yàn)數(shù)據(jù)跟蹤，也是以當(dāng)初roi的預(yù)期來(lái)進(jìn)行判斷實(shí)驗(yàn)效果，尤其在沒(méi)有達(dá)到預(yù)期的情況下，尋求解決方案。(這其中還有諸多限制條件，比如收益類項(xiàng)目，如果CR有明顯下降需要重點(diǎn)關(guān)注。)

分析思路

這個(gè)分解公示也代表分析的思路，無(wú)論對(duì)于收益類項(xiàng)目還是CR類項(xiàng)目，都會(huì)先看單UV收入和CR(一般情況下，abtest不會(huì)改變每個(gè)訂單的票量，這是基于整體訂單估算的平均值，我們暫且認(rèn)為T(mén)A是常量)，當(dāng)這兩項(xiàng)都保持正向增長(zhǎng)的情況下，那可以直接開(kāi)大流量繼續(xù)驗(yàn)證直至項(xiàng)目完美收官(這種案例比較少)。更多的情況是，對(duì)于重大項(xiàng)目，即使結(jié)果是積極正向的實(shí)驗(yàn)，我們也會(huì)大概了解下改進(jìn)點(diǎn)發(fā)生在哪個(gè)頁(yè)面或者哪個(gè)產(chǎn)品，做到心中有數(shù);

而當(dāng)發(fā)生問(wèn)題的時(shí)候，我們都會(huì)對(duì)CR和單票收入做分解：

• CR下降的情況，看主流程每個(gè)頁(yè)面的CR，是哪個(gè)頁(yè)面下降，從頁(yè)面的來(lái)源去向和點(diǎn)擊來(lái)看，是否有明顯的異常，一般來(lái)講，對(duì)業(yè)務(wù)足夠熟悉的PM在這一步可以結(jié)合業(yè)務(wù)和這些數(shù)據(jù)大概會(huì)有一些預(yù)判，是哪些因素可能造成的影響，之后再請(qǐng)教bi專業(yè)人員或者自己拉sql來(lái)驗(yàn)證數(shù)據(jù)，從而進(jìn)行改進(jìn)。
• 利潤(rùn)下降的原因，繼續(xù)分解指標(biāo)，可以分產(chǎn)品、航司、利潤(rùn)構(gòu)成等指標(biāo)來(lái)分解，找到新舊版的gap，然后結(jié)合業(yè)務(wù)場(chǎng)景做一些預(yù)判，進(jìn)行找數(shù)據(jù)來(lái)支持這個(gè)想法，繼續(xù)迭代新版。

之前的狀態(tài)是PM對(duì)于AB實(shí)驗(yàn)的數(shù)據(jù)有一大坨報(bào)表，但是并不知道如何使用，也不知道怎么看報(bào)表，不知道怎么分解指標(biāo)，但其實(shí)對(duì)于整體進(jìn)行了解之后，具備簡(jiǎn)單的分析能力，關(guān)鍵是有業(yè)務(wù)背景知識(shí)的情況下，這樣的幾個(gè)公式的八股文的分析可以解決80%的問(wèn)題，對(duì)于實(shí)在無(wú)法定位的問(wèn)題，可以找bi尋求幫助。

總結(jié)

ABtest其實(shí)核心在于如何定位問(wèn)題解決問(wèn)題，但是限于身份不能通過(guò)數(shù)據(jù)來(lái)進(jìn)行舉例說(shuō)明。但其實(shí)分析思路應(yīng)該是一致，比如機(jī)票場(chǎng)景下指標(biāo)分解的核心公式來(lái)解決80%的問(wèn)題，在每個(gè)行業(yè)應(yīng)該都會(huì)有這樣的公式，可以根據(jù)特定業(yè)務(wù)背景自己總結(jié)運(yùn)用。

PM如能夠掌握這些基本的指標(biāo)分析、能夠看懂圖表、這里面就能夠自助解決80%的問(wèn)題，這樣的abtest效率其實(shí)已經(jīng)是非常高的。

【本文為51CTO專欄作者“李寧”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過(guò)51CTO聯(lián)系作者獲取授權(quán)】

戳這里，看該作者更多好文