今天分享的内容是短信A/B测试的思路。
触点渠道的尴尬
文案的A/B Test相信大家都接触过,做过,或者听过,所谓文案A/B Test就是选一类或两类用户作为样本,通过对他们投放不同的文案,来找到究竟哪种文案对官方希望引导的行为更有帮助,然后再向更大样本的用户群进行推广的一种测试方法。
所以,你看,它是一种测试方法。
好多年以前,当我们讨论一个活动推出去,如果没有人来参加能够做什么,这样的话题的时候,其中有一个方法就是:
把活动广告图做些调整,然后重新投放试试引流效果会不会好一些。
这种方法其实是A/B Test的延续,也可以从另一个角度认为这种方法是A/B Test尚未流行时的有同样原理的粗糙原型。
只是,如果将这种方法提前到活动开始前的预热,对不同渠道的同一类用户推送不同内容的预热文案,甚至预热页面的时候,就可以在正式活动时的Banner设计上做得更加精准。
而短信、EDM这些渠道也都是如此。
只是,由于短信和EDM渠道被早年的电商玩得有点坏——几乎所有渠道的电商测试出来的效果,都是用户要优惠,于是,所有电商的思路也都很一致的推荐打折信息、活动信息,用户疲劳之后,再利用这些渠道就比较困难。
但实际上,这依然是因为对用户的理解太粗放导致的。
而尴尬的是,即使是在智能手机的Push上,也嫌少有应用真正做到十足的精细,不信看图:
亮哥把手机上有关电商与导购的一些Push留了下来,大家可以看一下,除了第一张图,红线框出的部分,可以肯定是天猫根据之前的购买习惯Push给用户的,其他的看起来大多数都和用户的习惯没什么关系,但是和企业的需求有直接关系。
说实话,连天猫这个消费习惯Push我都有点不想打开——因为湿巾每次买都会很多,而消耗起来又没有那么快,其他的Push就更加不会打开了。
短信神马的,是不是一样的逻辑,所以用户才会拒绝去看呢?
精细化是方法论
所以,很简单的一个逻辑就是:
如果我能够知道我的用户care什么,那么我就可以将最适合他的展示给他,以此获得他对我价值的认可。
而如何知道他care什么,就是我们要通过A/B Test获取的东西。这里有一些方法,可是去尝试一下:
建立假设
分类设计
分批推送
效果回收
实测验证
形成结论
这六步就是我接下来要说的方法,下面就一个一个展开:
1、建立假设
首先,对于你的用户要建立假设,这个假设并不是每一个人为什么来你这里买东西,而是,到你这里买东西的用户最care什么。
其中,可以提炼出一些关键词。
这些关键词,需要去匹配一些近义词或结果差不多但表达相反的词汇。
譬如,节省时间-提高效率;省力-代劳;……等等
这一步是为了要有一个大概的认知:我这次的测试主要测试用户对哪些词更敏感,更敏感的词应当切中用户更需要的点,以此来推进设计。
2、分类设计
当你挑选出不同的假设敏感词组之后,一定会形成不同的画像人群,这些画像用户需要围绕敏感词组来对应设计。
譬如我曾经开过玩笑,AirBnb的User Referral文案:
「Give your Friend $15 」与「 Invite a Friend,Get $15」
这俩文案,放在欧美的测试结果可能是第一种好,但放到亚洲,可能就是第二种好了。
之所以开这个玩笑,是因为在我的假设里,亚洲人或中国人更喜欢强调保障自己的利益,欧美人更喜欢分享自己的利益。
但是这仅仅是开玩笑的假设,事实上并没有任何证明。
聊这个,只是为了强调:人群的差异要体现在文案设计上。
3、分批推送
当你有了画像之后,原则上你就可以筛选出对应的用户,但由于我们要做测试,所以,可能我们只会限定一定比例样本的用户会收到该文案。
这时候,文案的推送一定是分批次进行的,譬如对象用户一共10000个人,我分了两类各5000人,那么先各推1000人试试,看看究竟哪一种文案看起来效果好,然后再根据效果来做后续的推送。
4、效果回收
不论是什么渠道,一定要有能够验证效果的数据,譬如:
链接点击次数、页面到达人数,等等。
所以,文案推送之前,相关的数据埋点就一定要具备,文案推送之后,就要开始关注相关的数据变化情况。以此来区分不同文案之间对用户的差异。
5、实测验证
这里既可以称实测,也可以称为后续。
之前的两组5000人,我们都只推送了1000,那么剩下的4000也一样要推掉,这时候我们就要开始尝试做一件事儿了:
合并文案。
这时候要考虑的是,剩余的总共8000人,应该分几次去推,每一次推又希望验证什么。
这里的方法就很多了,譬如:
先调换文案,再各推1000人,然后视效果合并;
直接合并,推剩余的8000人;
不合并,各自按照此前的方法推送;
……
6、形成结论
不管你在第五步是否做了文案合并,最终推送完成后你都要形成结论,即,用户更偏爱哪一种或哪一类文案,在同类活动、内容、商品推送时,应该使用哪一类文案。