第一种:对比分析法
“无对比,不分析”,对比分析法也叫对比法,是数据分析中最常见也是最基础的分析方法,
如果我们对数据的评估和汇报缺少了对比,就无法说明效果是好还是坏。
在数据分析中,绝对数对比一般是指正数之间的对比,如支付人数、DAU、GMV等;
而相对数对比一般是相对数之间的对比,如转化率、增长率、完成率等。
如下图登录用户量的对比就属于绝对数对比,用户留存率的对比则属于相对数对比。
2. 环比分析
环比,表示连续2个统计周期内的量级变化比,例如连续两日、两周、两月的量级变化比,都可以称为环比。环比分析一般体现该时间段对比上个连续时间段的数据变化情况。
计算公式:环比增长率=(本期数-上期数)/上期数 × 100%
举个环比分析简单例子:我们在9月第三周针对50%的随机用户A群进行了活动营销激励,整体GMV环比第二周上升50%。
这里就是将第二周看做基准,默认第三周自然GMV为100万。通过活动营销激励后,第三周实际GMV为150万,对比第二周增长了50万,环比增长率为50%。
这个例子来说,如果在正常情况下,环比分析给出的50%增长,可以证明活动带来了明显的GMV增长,效果好像不错,但是环比分析结果也会存在骗人的时候,我们继续往下看下面的例子:
看到活动效果良好,我们在9月第四周又取了剩下的随机用户群B进行了活动营销激励,GMV环比第三周反而下降了7%。同样的激励策略,不仅没有得到环比提升50%的数据效果重现,反而下降了7%。
在这里就体现出了一个环比分析法的弊端:无法消除周期波动变化的影响。
原因是我们的产品在节假日前期数据波动特别大,仅通过该环比数据没有办法客观的进行运营效果评估。如9月第四周是国庆前的最后一周,用户的交易数据会有明显的下降,营销动作是很难提升GMV超过上周(上期)的量级水平,如果通过仅仅通过环比给出的数据结果,一定是本期对比上期环比下降x%。
遇到这种周期波动特别大的分析场景,则需要加入同比分析法,与环比分析法共同进行分析。
3. 同比分析法
同比,表示本期与上年同期的量级变化比,例如本日、本周、本月内的量级变化对比去年同日、同周、同月的量级变比。
计算公式与环比增长率相同:
同比增长率=(本期数-上期数)/上期数 × 100%
同样国庆前做活动的例子,通过环比分析,因为节假日因素波动,没有办法得到真实的营销增长情况,那么通过环比+同比分析,就可以对比出9月第四周对比上年同期的增长情况:
18年环比:18年9月第四周 环比 第三周,GMV下降20%;
19年环比:而19年9月第四周 环比 第三周,GMV仅下降7%,下降幅度小于去年下降水平;
19年同比:且19年9月第四周 同比 18年9月第四周,GMV上涨75%,而第三周的同比上涨仅为50%;
综上的环比与同比分析,我们可以对19年9月第四周的运营策略做出真实评估:有效的带来GMV增长。
此外,我们还可以根据18年9月第四周的环比降幅,预估19年9月第四周的自然GMV,从而评估19年9月第四周的GMV增长量为20万:
19年9月第四周GMV增长=实际GMV-自然GMV
19年9月第四周GMV增长=实际GMV-19年第三周GMV*(1+19年9月第三周同比增长率)
19年9月第四周GMV增长=140万-150万*(1-20%)= 20万
同比主要是为了消除可能存在的周期变动的影响,当连续两个周期波动特别大的时候,就不能只用环比去进行效果评估了,则需要将同比与环比放在一起进行分析。
那么同比和环比都用上了,就能保证数据结果的正确性吗?
不一定,接着上面的活动来说,我们预估2019年9月第四周的自然GMV,是默认2018年9月第四周是没有进行任何对GMV产生波动动作的自然环比下降,但如果2018年9月第四周有进行用户激励的运营动作,那真实的环比降幅可能就不止20%,甚至更高。
考虑到这种未知的干扰情况,影响我们对数据结果的评估与分析,我们就需要换一种能够减少未知干扰的分析方法——控制变量分析法。
第二种:控制变量分析法
1. 什么是控制变量法
控制变量法是在蒙特卡洛方法中用于减少方差的一种技术方法。该方法通过对已知量的了解来减少对未知量估计的误差。
控制变量法简单来讲,就是我们工作中最常见的A/B test。制定两种方案,将用户随机分成实验组与对照组,实验组用户进行产品功能或营销激励的单一变量干预,对照组不进行任何干预自然运行,一段时间后分别统计两组用户的数据表现,评估功能或激励效果。
A/B test 的优化内容主要有6个方向,可以根据不同的内容设计不同的优化方案,进行效果测试;
2. 控制变量法分析过程
我们以发放6元无门槛红包激励用户下单为例,看下A/B test在营销中分析过程;
将目标用户群随机划分为实验组和对照组,每组各10万人,保证两组用户随机分布;
将实验组进行单一变量营销,如发放6元无门槛红包,对照组不进行营销,用于观测自然转化情况;
观察一段时间内的转化率及客单价数据,评估支付人数提升与GMV提升效果;
提升支付人数:对实验组进行干预后提升了转化率,实际提升支付人数2000人。
GMV提升:将提升的支付人数结合客单价进行计算,统计最终的GMV提升40万。
3. 特别注意两点
通过ABtest只能减少未知情况带来的干扰,无法做到完全排除未知情况带来的干扰,所以在落地的过程中,仍有两点需要特别注意,不要被数据欺骗:
(1)实验组与对照组的用户群样本量太少
实验组和对照组的样本量不需要完全一致,但至少需要保障一定的量级,如果样本量级太小,很容易受到个体的影响,导致结果异常。
若想降低个体影响可以参考以下两种方案:
扩大试验样本:提高实验组或对照组的用户群,降低个体影响;
延长试验时间:将数据监控的时间延长,让数据结果尽可能的收敛;
(2)实验组和对照组的用户群没有做到绝对的随机
例如,产品或技术同学通过尾号单双来进行实验组和对照组的划分,进行产品新功能的实验。此时运营同学又针对尾号0和1的用户进行营销测试,最后肯定会导致双方的实验结果异常,得出错误的结论。
参考方法:不要通过简单规则分组,尽量通过随机数或者随机序列进行随机分组。
总结
通过对比分析法对数据进行环比、同比等多维度的评估,通过控制变量分析法减少未知干扰的误差,做到数据分析的相对科学,才能为业务提供正确的数据指导。