APP推广合作
联系“鸟哥笔记小乔”
优秀产品人必懂的增长策略设计模型
2020-06-07 09:22:02

大多数产品人都是通过增长实验来完成用户及产品的增长。什么是增长实验?它的正确设计模型又是什么呢?本文将会告诉你答案。

在增长工作中,大家常会通过增长实验来确定增长策略的有效性和影响范围。而设计增长实验时常会遇到一些坑。比如:

  • 没有定义正确的实验指标,实验上线后无法决定实验成功还是失败。

  • 对于实验目标用户没有清晰的认识,导致实验上线后,分析了很久都得不出结论。

  • 流量划分不均匀随机,导致实验结果出现偏颇,数据不可信。

本文将通过以下三小节的内容来简单分享下如何避免以上这些常见的问题。

一、制定实验指标

正确的实验指标能够全面准确地检验实验假设的真伪,从而衡量实验结果的成败。

衡量实验成败,主要可以分为三类指标:

1. 核心指标

核心指标是决定实验成败的关键指标,该指标是后期实验数据进行统计显著计算的关键。核心指标确定的前提是实验最终目标的确立。根据该实验目标判断想要影响的指标是哪一个。是否可以通过这个指标确定实验组的改动是成功的。

2. 辅助指标

辅助指标是实验可能影响到的其他重要指标,通过这些重要指标可以全面了解实验结果。常见的辅助指标如漏斗细分步骤的各节点转化率,可以通过这些转化率更全面的了解实验改动对整个漏斗的影响。

3. 反向指标

反向指标是提示实验可能出现的负面影响。通过反向指标的高低来判断实验结果是否成功。如果实验没有负面影响或负面影响较小,可以接受,才能宣布实验成功。如果负面影响很大,可以否决实验的正向结果。

常见的反向指标如页面退出率,订单取消率,Push退订率,应用删除率等。

二、确定实验对象

在确定了实验目标后进入了增长实验设计的第二步,确定实验对象。这一步骤主要解决实验对象的包含范围和实验所需的样本数量。

1. 确定实验对象的包含范围

如果所设计的增长实验希望所有用户都进入该实验范围,那则不需要这一步。如果希望仅有符合特定条件的用户才可进入实验范围,则需要设置实验对象范围。通过此设置可针对特定用户群组进行实验,帮助生成更精细的产品优化方案。通常设置实验对象范围类型可通过第三方A/B测试工具自带分组来设置。

设置实验受众可以通过一些第三方A/B测试工具来完成。

很多第三方的测试协助工具都会有默认受众分组,比如:操作系统,浏览器类型,设备类型,应用版本等等。

我们也可以自定义受众分组,比如:

  • 注册15天内的新用户

  • 来自一线城市的用户

  • 某个兴趣标签的用户

  • 来自某个渠道的用户

2. 预估实验所需的样本数量

首先我们先来看一个案例,某公司想通过改变按钮颜色提高“下单”按钮的点击率。

在实验上线2小时后,进行了一次数据统计:

  • 蓝色按钮的页面访问量是60次,按钮点击次数为15次,转化率为25%。

  • 红色按钮的页面访问量是56次,按钮点击次数为7次,转化率为12.5%。

  • 那么这时候,是否可以得到蓝色按钮比红色按钮的转化率更高呢?相信大多数的产品人都会认为样本数太小,不能得出可信的结论。

在实验上线2天后,再进行了一次数据统计:

  • 蓝色按钮的页面访问量是6238次,按钮点击次数为368次,转化率为5.9%。

  • 红色按钮的页面访问量是6122次,按钮点击次数为588次,转化率为9.6%。

  • 那么此时,是否能确定红色按钮是否效果更好呢?但样本数量是否可信呢?

在实验上线1年后,又进行了一次数据统计:

  • 蓝色按钮的页面访问量是132892次,按钮点击次数为6110次,转化率为4.6%。

  • 红色按钮的页面访问量是140021次,按钮点击次数为9641次,转化率为7.5%。

  • 那么此时,是否就可以非常的肯定的说红色按钮较蓝色按钮的转化率更好?

通过上述案例可发现从结果可靠性的角度看,样本量越大,实验时间越长,实验结果则越可靠。

但从实际工作的成本角度出发,样本量越小,实验时间越短,实验的试错成本就越小,实验迭代速度也越快。

因此在保障实验结果可靠性的同时又尽可能最小化样本量,不会浪费过多的实验时间显得至关重要。我们可以通过对增长实验结果进行统计显著性检验找到这个平衡点。

统计显著性(Statistical significance):是指零假设为真的情况下拒绝零假设所要承担的风险水平,又叫概率水平,或者显著水平。在增长实验中是指对照组和实验组之间转化率差异的真实水平程度。

如:对比对照组和实验组的某个实验指标发现转化率有差别,而统计显著性为90%。则代表造成差别中有90%的可能性是真实存在的。而10%的可能性是随机误差引起的。

当统计显著性越高,则随机误差的可能性就越低,得到的结果就越可靠。我们可通过确认结果统计性显著所需的最小样本数来预估实验所需样本数量。

影响实验所需样本数量的因素主要有三个:

  1. 原版本的转化率:如原版本的转化率越低,则实验所需要的样本数量越大。

  2. 新版本的转化率:如果新版本和原版本的转化率差别越小,则检测所需的敏感度越高,实验所需要的样本数量越大。

  3. 统计显著性要求:统计显著性要求越高,对结果的需求越确定,则实验所需要的样本数量越大。建议一般情况统计显著性要求至少为95%。

我们继续刚才的案例。假设原版本,也就是蓝色按钮的点击转化率为10%,而预计改为红色后,点击转化率为12%,我们通过第三方A/B测试样本计算器工具,在统计显著设置为95%的情况下,预估出实验所需要的样本数量为2900。我们预估每天的的页面访问数为500。而这个实验一共存在红色按钮和蓝色按钮两个实验样本,则样本总数为5800,所以需要的实验时长是12天。

三、设计实验版本

在完成了确定实验指标和实验对象后,就可以开始设计实验版本了。在设计实验版本时,需要思考实验组相比对照组都做了哪些改动。确定实验版本数量,版本之间的关联和区别是什么。实验受众的流量在实验版本之间如何分配。
实验版本的数量和区别可以通过以下三个方面来确定:

  1. 版本数量取决于实验假设的数量,只选择高质量的实验假设。

  2. 明确实验类型,是优化型实验还是探索型实验。优化型实验:每个版本只改变单一变量,明确改动的影响。探索型实验:可以同时改变多个变量,设计全新的实验版本。

  3. 版本数量越大,则需要的总样本数量越大。

实验受众的流量在实验版本之间分配原则是保证每个实验版本的样本分流均匀随机。样本分流是否均匀随机,会极大影响实验结果的可信性。均匀随机的样本分流可消除一切外在因素的影响。保证对照组和实验组唯一区别就是实验改动。

样本科学分流是A/B测试工具的重要功能之一,需要达到以下四个标准:

  • 均匀性:确保分流样本各个维度分配比例均匀,且分布随机。

  • 唯一性:通过精准高效的算法,确保单个用户每次登录产品时被分配到的实验版本是唯一的。

  • 定向性:可根据样本标签来实现精准的定向分流。

  • 分层分流:可以满足并进行大量A/B实验测试需求。

四、增长实验案例

这里通过一个虚拟的案例来简单分享一下如何设计一个增长实验。
假设你现在需要设计一个增长策略方案,来提高keep的用户的关注转化率。

1. 实验想法

1)实验目标

提升用户对其他用户的关注率。

2)实现想法

通过最佳实践(微博案例),可得出实验想法一:落地页的发现页签下信息流中每个用户的动态cell,如未关注,则显示【关注】按钮。增加关注功能曝光量,可提升用户的关注点击率。

根据用户行为路径,收集用户行为数据:

  • 关注行为在收藏行为的占比。即:用户同时关注博主并收藏博主动态占用户收藏动态的比例。

  • 关注行为在点赞行为的占比。即:用户同时关注博主并点赞博主动态占用户点赞动态的比例。

通过数据定量分析发现,用户点赞和收藏行为与用户关注博主行为相关性较大。

因而得出实验假设:在动态详情页中,首次触发对该用户的简单社交行为(点赞,收藏)时,如未关注用户时,调起弹框引导用户关注发布者。【关注该用户,及时获得TA的最新动态。】「关注」「取消」。

3)实验假设

基于以上实验想法分析,得出以下假设:

  • 假设一:落地页的发现页签下信息流中每个用户的动态,如未关注该用户,则显示【关注】按钮。增大关注功能曝光量,预计关注点击率提升到10%。因为增大功能曝光量,当用户对该博主感兴趣时,可更便捷的关注该博主。

  • 假设二:动态详情页中,首次触发对该用户的简单社交行为(点赞,收藏)时,调起弹框引导用户关注发布者。预计关注点击率提升到6%。因为点赞或收藏内容,表示用户对该博主的内容的感兴趣并认可该博主。降低两者之间的社会认知差异。更容易接受关注该博主的行为。

2. 优先级排序

通过ICE优先级模型,得到优先级结论:推荐动态页-增加关注按钮的综合得分最高。

3. 实验设计

实验假设:如果在动态详情页,如果用户在内容上停留5秒以上,“关注”按钮变亮变大,提示用户可以关注此博主,关注率预计可提升至6%,因为用户阅读每条动态内容的是平均时长为10秒,阅读5秒以上,表示用户对该内容感兴趣,此时突出关注按钮,更容易诱发用户完成关注博主的动作。

1)制定实验指标

  • 核心指标:动态详情页的关注按钮的点击率

  • 反向指标:用户取关率。因提高了用户关注按钮的曝光聚集度,造成用户体验降低,致使用户执行取关操作。

  • 辅助指标:动态详情页的平均阅读时长。动态详情的访问UV和PV。动态详情页的点赞率,收藏率,评论按钮点击率。日人均关注博主数。如:用户在内容阅读5秒后,受到关注按钮的动效提醒效果的影响,可能会影响用户的内容阅读体验,内容阅读体验的最直观的反应指标为内容阅读平均阅读时长。动态详情的访问UV和PV是否下降会直接反应出在详情页修改关注按钮交互效果后,对用户再次进入该页面是否产生阻力。在动态详情页中,关注按钮点击率的改变可能会影响动态的社交类行为如点赞,收藏,评论,关注的触发概率。

2)确定实验对象

实验对象范围:根据用户行为路径,该实验对象访问内容详情页且停留时间2秒以上的用户群体。

原因:

  • 实验对象为对内容详情页的关注按钮。因而用户需访问内容详情页。

  • 因实验组需对用户在内容详情页的停留时长做边际限制,最短2秒,因而停留时间2秒以上为受众用户行为特征范围。

3)设计实验版本

  • 对照组:保持原有产品交互设计不变,即用户在动态详情页面阅读停留5秒以上,关注按钮无变化。

  • 实验组A:用户在动态详情页面阅读停留5秒时,关注按钮发生变大变亮的渐进动效,时间为2秒。设计原因:考察提高关注按钮曝光获取是否会提高用户的关注点击率。

  • 实验组B:用户在动态详情页面阅读停留2秒时,关注按钮发生变大变亮的闪烁动效,时间为2秒。设计原因:考察用户对内容的阅读时长的高低是否影响用户的关注点击率。

通过第三方工具,比如云眼计算样本数量,可以得到以下结论:

  • 当前内容详情页的关注按钮的点击率是5%。内容详情页每天的平均访问量是10000人。假设满足在内容详情页停留2秒以上的用户占50%,即5000人。

  • 如目标点击率提升到6%,每个实验版本的样本量是6900;三个实验的样本量为6900×3 = 20700。预估实验周期为4~5个自然日(20700 ÷ 5000 ≈ 4.14)。

  • 如目标点击率提升到5.5%,每个实验版本的样本量是31000;三个实验的样本量为31000×3 = 93000。预估实验周期为18~19个自然日(93000 ÷ 5000 ≈ 18.6)。

备注:本文部分内容参考三节课《增长黑客认知入门课》


-END-

鸟哥笔记,广告营销,七邵,技巧,广告,创意

杨三季
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
杨三季
杨三季
发表文章23
七年互联网人,千万用户社区操盘手,深耕产品增长。
确认要消耗 0羽毛购买
优秀产品人必懂的增长策略设计模型吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接