Strava 是一款专为运动爱好者设计的测速APP,同时也是当下爆红的运动达人社交平台。
Strava 公司总部位于美国旧金山,由 Mark Gainey 和 Michael Horvath 共同创立。截至2017年秋天,Strava 已累计获得7000万美元的投资。
本文作者 Paolo Ertreo(Strava 产品设计师)将结合实际案例,跟大家分享 Strava 是如何通过增长实验,在运动达人圈中逐渐扩大影响力的。
在Strava,增长团队的目标是扩大这个世界上最活跃的运动员社群。
为了实现这个目标,从新用户了解Strava,到他们第一次使用这个产品,我们的团队都要为他们的体验负责。我们的目的就是让用户相信,无论他们是谁,Strava都是帮助他们实现运动目标的正确选择。
通过数据观察和研究,我们将团队的目标和具体的项目联系起来,然后通过实验不断检验我们提出的假设是否符合用户的实际使用情况,再不断迭代优化,逐步缩小与目标的差距。
设计增长
与任何产品设计师一样,增长设计师一定是良好用户体验与高商业价值的积极推动者,并且,他会始终力求在两个目标之间达成平衡,这样才能确保设计的产品既具备可用性,又拥有市场。
增长设计师必须在项目中不断试验、摸索。我们一般会从一些小的设计着手,这样才能快速学习和检验假设。
在小范围的测试后,如果实验失败了,那就意味着这个失败的实验无法被推广到整个用户群体中。因此在设计时,我们会考虑如何合理分配有限的时间和资源。我们常常问自己:在用户体验中设计某个具体环节对实验结果有正面的又可衡量的影响吗?如果没有,我们会把这些环节的设计推迟到后期,等目前的实验成功后再做。这种方式确保了我们以最低成本的方式检验假设。
在做实验的同时,我们还会讨论数据,因为我们非常清楚设计的好坏必须是可以衡量的。当然,除了数据之外,我们也会通过定性反馈来验证实验的结果。在大项目中,我们会开展用户访谈,获取定性数据;而在小项目中,我们在一开始就会做可用性测试来发现用户在使用过程中可能会遇到的问题。这些做法保证了我们的设计一直以数据为驱动,以用户为中心。
我们的设计流程
1. 提出假设
通常,我们的增长团队会以小组为单位提出想要验证的假设,以及希望通过实验提升的业务指标。
这些指标是根据公司的整体目标而定的,可以定量,也可以定性,又或者是两者相结合。
我们的假设就像指引方向的北极星,使我们脚踏实地专注于实现KPI,并确保我们的设计开发工作在原定范围内进行。
2. 设计实验
在Starva,每个项目都对应我们试图改善的特定指标。简单的指标包括下载和注册率,更复杂和长期的指标则包括用户留存率或活动上传率。
我们把每一次设计都当作一次实验,而实验的目的就是快速学习用户行为,并确认或推翻先前的假设。
为了说明这一点,我来举个例子—— Strava的活动标记功能(如下图)。
备注:
初始版本(左图):用户可以从活动视图中邀请朋友
后续升级版本(右图):用户可以添加其他Strava用户或无运动记录的朋友
我们最初做这个改版实验时,就是想要验证这个假设:对于曾经和自己一起锻炼过但没有记录活动数据的小伙伴(也可能是还没加入Strava),Strava 用户有很高的意愿邀请Ta一起来记录。
为了验证这个假设,我们首先推出了一个简化的功能,让用户能通过活动详情表中的本地共享列表,邀请其他人加入Strava社群。
备注:用户界面和复制测试旨在增加功能使用频率和对外邀请次数
当我们的初始假设通过了验证(经过了多次复制和用户界面测试),我们就推出了一个更精致的版本:用户可以分享活动副本而不仅仅是发出邀请。接收副本的用户收到提示后,可将副本保存到个人档案,并进行个性化处理。
紧接着,我们又推出了最新版本:用户除了邀请尚未加入Strava的朋友之外,还可以轻松添加其他Strava用户。
3. 进行实验
实验设计完成后,我们就开始在一部分用户中进行了小范围的测试。
在A/B测试或多变量测试中,我们都会将实验组(新版本)和对照组(旧版本)进行对比。在正式发布新的用户体验或功能之前进行检验,能让我们将新功能隔离出来测试,在结果与预期有差距时对该功能进一步迭代优化。另外,我们可以选择不同语言(例如英语)进行测试,从而跳过本地化的测试步骤,进一步加快测试进程。
备注:A/B测试的一个例子。我们的假设是,在应用程序加载后马上浮现注册窗口可以提高注册率,特别是通过Facebook。
当然,有些情况下,我们并没有将已有的用户体验环节作为对照组,比如当我们推出全新功能的时候。活动标记功能就是一个例子。
我们推出该功能的假设是:与普通邀请相比,让用户邀请和自己一起锻炼但没有记录运动行为的小伙伴,可以促进更多的“邀请行为”。这是一个新的功能,没有历史数据可以做对比。不过,我们可以将该功能与旧版的普通邀请功能进行比较,因为它们使用的KPI(新注册用户数)相同。
最终,在测试期间,与普通邀请功能相比,活动标记功能让发出的邀请数增长了五倍。
备注:对两个具有相同KPI(发出邀请次数、新注册用户数)的功能进行对比
4. 评估实验
我们会在实验独立运行一段时间(通常是两周),或者达到数据显著性之后回到实验本身,以小组为单位深入研究数据、分析结果。
在某些情况下,达到数据显著性需要几个星期,甚至几个月,比如测试一些较少被用户使用的功能时。此时我们会选择A/B测试而不是多变量的测试,从而将用户的浏览或流量分布限制为双变量分布,这有助于我们加快学习进程。
5. 决定功能是否推广
基于积累的认知,我们会再决定实验的新功能是否推广,成为用户体验的一部分。
如果实验成功,假设被验证,那么,我们就会把新功能推广到整个用户群体中。如果实验失败,我们会在产品分析师的帮助下,对数据进行深入挖掘。产品分析师会分析实验结果不如预期的原因,为我们后续改进设计提供有用信息。当然,我们也会回顾最初的研究和可用性测试,希望从定性的角度,获取那些能够帮助我们准确理解定量数据的信息,从而更全面地把控整个项目。
6. 发挥量化数据的杠杆作用
在Strava,我们的方法不总是纯粹量化与科学的。
我们会进行早期用户研究,用定性方法验证我们的假设并收集一些早期的“信号”,这些“信号”能告诉我们目前的项目是否具备潜力驱动增长团队最关心的指标。如果没有,我们会考虑把项目所有权转交给其他团队,或者确保我们之后将工作精力集中在产品最有增长潜力的部分。如此一来,增长团队认为无效的假设,对于有不同商业目标的团队来说依然非常有价值。
再举个例子吧。我们的增长团队从一个实验中了解到:与对照组相比,对手机页面展示内容的方式做一处特殊改动,能让用户邀请好友的次数翻倍。因此,当相关领域的团队着手更新产品时,他们充分利用了增长团队获得的定量数据和其他定性研究成果,让产品性能最大化。
结论
以增长为导向的产品设计方法能确保你快速且有针对性地检验假设。你可以从想要检验的假设着手,确定实验想要改善的指标。记住,让设计尽可能简单,不断思考哪些功能和环节对目标指标有直接影响,并优先设计这些部分。没有直接影响的部分可以置后考虑,但注意不要以损伤用户体验的可用性或清晰度为代价(比如:避免设置用户陷阱)。
实验设计完成后,在一部分用户中开展实验。要保证测试群体足够大,才能让你在最短的时间内(比如两周)达到统计学上的显著性。如果你的用户群体不大,请选择A/B测试而不是多变量测试。你的最终目标应该是,以最快的速度和最经济的手段验证你的假设,然后把成功的实验功能推广到整个用户群体中,最大限度地优化产品表现。
原作者:Paolo Ertreo (Strava 产品设计师)