APP推广合作
联系“鸟哥笔记小乔”
【硬核】从设计到归因AB Test实战心得
2020-04-19 12:04:59

== 前言
 
这是大Fei分享工作过程中,关于数据增长的系列文章,笔者(大Fei)在国内知名出海App任职数据负责人,有多年的相关工作经验,公众号的主笔与我亦师亦友,经常一同深究一些数据背后的逻辑,此次旨在分享一些自己的实战和分析经验,供大家参考,并与大家一起交流成长。
 
作为数据增长实战分享的第一篇,我先从个人认为最重要的AB Test实战开始分享,而分享过程中涉及到重要且无法展开的,未来会慢慢再与大家讨论和分享。甚至我会和大家讲到一些数据平台的使用玩法比如神策、Firebase等。
 
 
== 关于AB Test ==
 
说到AB Test 大家都不会陌生,也是增长黑客概念流行以来非常热门的话题,我曾与业内经常做AB Test的朋友交流,也遇到过这类常见的问题
 
• 1. 方案存在多变量,没有控制唯一变量,实验结果很难归因和解释
• 2. 多组实验同时跑,不知道实验的变量相互干扰
• 3. 不确定如何有效评估实验,提升多少算有效?
• 4. 实验结果看起来有效果,上线后却效果不明显
• 5. 实验结果看起来有效果,但不知道为何,无法归因出原因
 
我们最可怕的不是不知道要开展AB 实验,而是明知道要开展,却不知道如何科学开展或开展后面对数据结果一脸茫然。
 
== 如何科学开展实验呢 ==
 
首先,实验的过程可以简单分为三步
 
• 实验设计 - 包括实验的想法,背景,假设,方案,指标等
• 实验上线 - 包括实验AB功能,数据采集,测试和上线
• 实验评估 - 包括数据获取,对比分析,转化结果显著度,实验结果归因,结论,建议和计划
 
具体过程相信大家不会陌生,所以不会逐个介绍,下面我们重点聊聊整个过程可能常遇到的问题和经验教训,这也是我本次想分享的核心。
 
== 看似简单的实验设计,更需要重视 ==
 
1、实验想法拿数据做支持

• 记住不要光拍脑袋不分析数据,这是提高实验成功率的有效途径,否则你将会承担更高的实验风险,要么实验没有效果,要么实验效果下滑,这些都是浪费资源的做法
• 公司不会有那么多时间和资源投入到一个又一个失败的实验方案中,因此想法很重要,但更重要的是参考、分析,为你的实验想法提供数据依据,拿数据说话
• 真实的情况是,我们完全可以拿数据否掉很多不靠谱的想法
• 由于本次分享的内容侧重点,这块内容以后的机会再分享
 
2、实验目标说清楚,写下来

• 清晰的实验目标能够让方案聚焦,也避免评估结果的相互扯皮
• 如果团队有人想要收入,有人想要留存,这往往打架的实验目标会造成后续的一系列麻烦
 
---
经历:
 
我们曾遇到过一个实验对于收入的效果非常显著,但却损害了用户体验,导致用户认为应用收费性质过强而流失,但团队一致认为当前收入最重要,且通过数据验证了流失的用户均是较为低质的活跃用户,对长期留存来看并无意义,只是短期留存不好,DAU会下滑。
 
但团队中有人则认为前期的活跃用户更重要,不想流失用户和DAU下滑,这个就团队在前期没有确定一个一致的目标造成,最后的结果则是非常不欢,方案也没有上线,非常打击团队的信心。
 
我们不要总期待鱼和熊掌兼得,那是可遇不可求的,我们也正是一直在方案的利弊中,学会权衡并决策前行,这才是可贵的成长和经验,我们总要学会抛弃芝麻捡西瓜,把目标定下来,会更利于我们的决策。
---
 
 
3、实验方案设计
• 清楚了解自己的实验目标,设定测试中想要测试的变量
• 尽量避免要评估的方案存在多变量的情况,控制唯一变量,有利于得到更多实验信息
• 分组设计会是另一个重点,我们放在后面来讲
---
经历:
我们曾犯过这类错误,上线一个新的付费页面,但我们实验设计前期没有想清楚可以评估和实验的变量,导致我们只控制了展不展示该页面,但该付费页面我们换了新商品,更换了SKU组合,更换了商品的折扣属性,页面也放置在用户完成关键动作后出现。
 
不难想象,我们最终只得到了一个大而全的策略结果,而不知道页面里面的变化能起到的关键作用,因此我们浪费了一次机会,丢失了本可以获取的实验信息。
--- 
 
这个过程就好比如下,同时修改了颜色和文案那样,我们无法知道颜色和文案分别的影响
 

尽量不要做出这样的对比,在实验前想清楚,再想清楚,把你要评估的变量梳理清楚,这样再把变量拆开
如下:
 

实验设计方案参考如下模板
 
 
关于数据采集这块我就不做分享了,不是本次的重点,后续有机会我们再拿来分享
 
 
== AB实验工具 ==
 
笔者使用过多个AB 工具,包括自研AB系统,Firebase等第三方支持AB 的工具,我总结了常见AB工具的几个特性,供大家今后需要的时候参考
 
当我们创建一个AB Test时,需要有:

• 用户圈选:一般要求系统能够对目标实验群体做圈选,满足的用户进入AB Test,建议支持系统已有的用户属性,行为数据,用户标签等作为可选择维度,第三方工具则要求相关数据上报,需做好前期的实验设计和数据采集工作

• 实验灰度:假如你的实验不想影响所有用户,那么这个正是你所需要的,可以实现逐步放量,相对完善的AB工具均有此类选项,如Firebase

• 配置项:一般指可以由后端自定义值的【远程配置】,例如:是否展示免费试用商品,就是一个【远程配置】
 
• 实验分组:任意增加多个分组,并为各组选择配置项,配置项的值,以及该组的样本比例
 
• 实验分组标记:每个创建的实验都建议为每个实验创建一个Track Tag,将分组名称作为值,如Test1_Control,Test1_VarB,Test1_VarC,然后作为一个用户的标签标记上,同时要避免标签数据被覆盖导致历史实验数据丢失
 
如果大家是做出海的App,Firebase是我优先推荐的,它是谷歌的产品,而且免费,但唯一不好是对国内支持不好,所以可以根据实验群体和场景选择哦。
 
当然最灵活的还是自研AB系统,但是这个需要一个较有经验的增长产品经理或增长数据分析师来参与比较好系统的设计和数据采集,这样才能较好确保系统的可用,否则仍会出现很多坑,下面我来讲一下我们团队在实验分组遇到过的问题。
 
== 实验分组 ==
 
1、按照用户ID等属性计算随机值
 
我们团队一开始通过用户ID来实现简单的随机分组,这个方式在我们跑多组实验的时候遇到了问题
 
按用户ID属性计算分组值存在的潜在问题如下
 
假如一个用户U3,基于该用户ID通过某种随机算法计算得到59,按照随机算法被分配到50%~100%这个区间,此时如果Test1区分AB两组,各50%,那么用户U3应该会被分配到Test1的B组;此时如果又有Test2 区分AB两组,各50%,那么该用户仍会被分配到Test2的B组
 
最后当我们要对Test1的A组和B组做对比时,假设Test2也会或多或少影响Test1的目标转化,那么就会多了一个Test2的干扰因素,从而两个实验的变量会相互干扰结果,无法评估某个Test 变量的贡献,如下图所示:
 


因此这种情况下你只能同时跑一组实验。
 
2、按照用户ID等属性和实验ID计算随机值
 
后来,我们采用另外一种分组方案,按照用户ID和实验ID共同决定随机值,这样起到在每个实验中,两组的用户也分别均匀分布在其他实验的各组值中,如下图所示原理,理论上两个实验均设置两组各50%,则样本预计将平衡贴近25%
 

理论上,Test1和Test2就相互不干扰了,因为在分组足够均衡的情况下,Test1 AB各组受其他实验的影响也被均衡了,可以近视忽略不同变量相互之间的影响
 
3、另外一种分组方案探索
我们团队还尝试过另外一种方案,这种方式就是把用户按照一个个规定的桶,将用户随机分配好,然后为实验具体组选择某个(几个)桶的用户,会比较强隔离每个实验,互不干扰,相对来说比较方便,但却需要有专人管理和把控实验资源的配置,且样本量要足够大,否则一旦筛选了条件导致样本量不够多,则会面临分组不够用的问题
 
我身边也有朋友在这么做,这只是分享给大家参考,大家可以结合自己的实际情况来决定 
 


如果大家选择一些AB 工具则可以不用太但心,人家已经实现了合理的分组,按照说明设置就好了,但在自己实现分组的时候则需要特别留意这块了。
 
 
== 实验评估 ==
 
这里我们关注一个重点,如何评估实验结果是否有效,或者说如何评估提升多少才算有效?
 
关于如何选取评估指标,这个需要大家结合实际业务场景来确定,这个就不介绍了(注意,我们往往不会评估单一指标)。
 
对于出海来说,尤其是工具类产品,最不陌生的就是免费试用了,这个苹果和谷歌为我们提供了很成熟的产品支持
我就拿这个举例子,也是我们团队亲身经历过的项目
 
先做个简单假设:上线7天免费试用,能够对收入有提升10%,提高用户付费转化率提高10%
 
核心评估指标:
• 用户付费转化率(7天内,0金额不计算)
• ARPU(7天内)
 
实验分组:
A 控制组,默认不曝光
B 实验组,曝光7天免费试用,显示免费试用字样
 
参考下面数据例子, 

我们可以看到示例中
整个实验周期中,A组有12100个样本参与,B组有12200个样本参与
 
A组的成功付费转化率为1.65%,B组的成功付费转化率为1.97%(为了简单演示,没有给出置信区间估计)
 
如果单靠看转化率的变化,我们可以看到B组有些效果,但提升是否真的有显著效果呢?
 
这就要求我们引入统计显著的概念了,先来看示例中我们计算的结果是95%显著,这个就能极大给我们信心说结果是显著的。
 
当转化率结果显著,这个意味着实验有胜出组了,然后看ARPU表现,即可大概率确认实验的效果。
 
这里只举一个指标评估做为例子,实际评估还需要结合实际业务来看,包括评估方案的正向反向效果。
 
一个小技巧:当我们的运营团队不知道如何分析结果的归因时,采用转化前后的用户行为做差异分析,这样就能大概率做到对结果的归因分析了,关于归因仍为一个大专题,不在这里做详述。
 
 
== 统计是否显著概念 ==
 
如果有朋友学过统计学或者接触过类似的概念,相信不会陌生,这里只做下概念普及,为了通俗易懂,有些描述可能也不是特别的科学严谨
 
统计推断的概念需要有一个【原假设】,这个【原假设】我们一般假设实验的方案不如老方案效果好,然后想办法推翻,以此来坚信我们的实验是有效果
 
例如这个效果指付费转化率,那么就是说,实验的B组的成功概率(用PB表示)不如实验A组的成功概率(用PA表示)高,即PB <= PA
 
有了【原假设】,接下来只需要找证据推翻上述【原假设】就可以了
 
前面实验中PB = 1.97%,而PA=1.65%,PB > PA,这个时候可以推翻原假设吗?
 
不能确定,因此需要引入统计显著的概念,一般显著度达到95%以上,就可以有足够的信心推翻原假设
 
这个95%你可以简单理解为PB > PA发生的概率超过95%,这样我们的信心就很足了。
 
关于显著度的计算这里不深入展开,只是提供大家一个判断依据,对效果的评估要加上这个会比较科学,这样能知道方案上线后有效果的把握程度。
 
注意:发生概率高,不代表一定会发生,所以要做好上线后随时准备面临结果不如意的心态。
 
 
== 别忘了细分实验结果 ==
 
在我们多次跑实验的经验,尤其是对于出海应用,我们面临了很多的国家市场,来自全球各地人付费文化和行为模式是存在差异的,因此我们前期实验选择的群体可能就包含了不同消费特性的人群,因此无论在总体结果是否显著的情况下,我们都应该做更多维度的细分。
 
这样我们能有效发现那些响应不足或响应后效果差的地区,对策略做出及时的调整。
 
 
== 巧妙利用AABB分组 == 
 
这个是我最后想补充的内容
 
想必大家都会遇到一些波动特别大的指标,类似一些收入指标,那实验出现随机的结果是很可能发生的,这个时候AABB分组策略能给我们提供一些信息
 
假如我们实验只是简单的分为两组,实际上我们还能够将A组划分成A1,A2,将B组划分成B1,B2组
 
通过对比组间,如A组和B组的结果来衡量实验效果
 
还能通过对比A1和A2,或对比B1和B2来确认组内的数据是否稳定,如果组内数据差异过大,而组间差异也表现差异很明显的时候,这个时候就要小心我们前面提到的随机发生的结果
 
因此AABB分组还够给我们提供更多的实验信息,大家可以去尝试一下。
 
 
 
== 后续 ==

由于篇幅问题很多内容无法开展讨论,我们后续有机会再给大家分享。
 
本篇文章内容篇概念和理论层面多一些,后续系列文章将分享如何实战分析的过程,会结合实际的分析工具,让产品和运营人员也能上手做深入分析。
 
== 论主结尾 ==

论主 - 九日论道的主笔,插播一段:
昨天,互联网最炸的社群——生财有术(主要分享赚钱心得、流量运营和副业的社群)刷屏,社区会员收入一小时突破1000万。很多新人入群了,但也有很多吃瓜群众不明觉厉,也有人认为这是大佬分销割韭菜。我想说的是,你不了解不明白就先不要深度评论。这里面的商业模式也不是随笔能解剖也不是随笔能复制的,我认为它之所以成功是在于个体而不是模式,是创始人的心怀。我为什么会进这个社群?星主亦仁当时是Tom徐(头条增长)介绍我们认识的,我一开始确实不知道他是谁,彬彬有礼也很谦虚。后来成为我公众号读者,并且很早就愿意为我的内容知识付费还给了我一张星球的免票。再后来,他邀请了我做了一次线上分享并且后来进入了星球里的龙珠俱乐部。于是乎,结识了更多的老板们,看着群里分享的内容,跨界的知识一次次冲击自己的认知领域,我才最终发现了这个社群的价值,决定发声。

那为什么昨天生财会员日,我只在朋友圈发了贴图,没在这发声?是因为我急性角膜炎,没法去写文章;另一方面,我只想发声支持一下亦仁并不想赚这分销的钱,有兴趣自己搜就行了。就像我婉拒各类广告主或者提出比较刚的条件,只为了保证公众号的内容都是我个人发自内心的东西,不受第三方驱使。

九日论道
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
九日论道
九日论道
发表文章61
增长套路万花筒,200天将App从美国内购收入榜600名打进过前30、提升App印度付费率8倍成为中国出海印度(非游戏)内购收入榜第2
确认要消耗 0羽毛购买
【硬核】从设计到归因AB Test实战心得吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接