本文介绍一种分析评论反馈的系统化方法。这种方法基于内容分析(Content Analysis)研究方法,但是十分简单有效。
为什么要分析评论反馈
任何2C的产品都避免不了海量的用户评论/反馈,这恐怕对普通用户来说,最直接的向产品表达看法的途径了。如果能够正确地分析这些评论,发现关键问题,产品就不会走向歪路……不过可不容易。很多产品对用户评论的重视度并不高,即便愿意花费精力去分析,即便分析了,使用的方法也是五花八门。
我以前实习的时候做过一种“打杂”的工作,就是回复用户反馈。我那时在1礼拜之内将反馈的回复率提高到了大约80%,只剩20%实在无法理解的才没有回复。我那段实习经历中不乏重要项目的策划、设计和实施,但是我却觉得那段回复评论的“打杂”是让我收获最多的工作,也是对产品收益最大的工作。
有人也许想说,现在有的是分析工具、人工智能来做大数据分析,还需要人工分析评论吗?我们现有的工具,大多只能对文字做一个非常粗略的统计,而无法真正理解文字背后的意图,所以真正有价值的工作,还是脱离不了人力。
该用什么方法
现在用研也不是什么罕见工作了,分析用户评论的方法非常多,而且谁都可以自创一种。我并不觉得有什么方法是一定好的,有什么是一定不好的。不过,学术界有一个叫做内容分析(Content Analysis)的领域,专门研究文字、媒体信息,半个世纪的时间里有很多人通过研究分析,终于找到了一套较为成熟的方法。我想,花费众人半个世纪才研究出来的分析方法,应该还是经得起考验的吧。所以,我决定在这里介绍一个以内容分析法为基础的,分析产品评论和反馈的方法。
系统化的内容分析最早是在1927年被一个叫做 Lasswell 的人用来分析政治宣传内容,也是挺神奇。接下来的二三十年代里,内容分析被用来研究当时快速发展的电影领域。五十年代随着电视的普及,内容分析成为了大众传播研究的重要手段。到了现在,内容分析以及开始运用于网络社区以及评论的分析研究。
Lasswell 最早给内容分析的定义是这样的:“谁说了什么,通过什么渠道,对谁说的,有什么影响”。
然而在产品评论和反馈这种单一场景中,这个定义里面剩下“谁说了什么,对谁说的”有意义,减轻了不少复杂程度。
进过这么多年的发展,内容分析其实早已不是一种单一的手段,里面涉及到了很多新的因素,例如多媒体内容分析、定性分析、计算机分析等等。但是真正发展成熟、被广泛认得的,还是比较传统的文字定量分析。我打算在这里介绍的,也是这种已经比较确定的方法。
分析步骤
别看前面扯了一大堆,其实这个方法非常简单,其最大的价值不过是标准化而已。为了方便理解,我使用了应用宝里滴滴出行的评论作为案例。
1、选择样本
这里的样本也就是指产品评论和反馈的内容了,通常不要少于50条。不过需要注意的是,参与分析的人必须完整读完所有内容,所以要量力而行。为了以后方便维护,可以给每一条加上编码。
下面是滴滴出行在应用宝里的50条最新用户评论:
2、设计分组
你先把前25条通读一遍,写下可行的分组计划,例如“支付问题、下单问题、登录问题”等。这个分组设计以后可以调整,但是这里需要定制一个初始计划。
25条这个数是针对不太复杂的产品而言的,如果是像微信这种什么功能都有的产品,那这个数量就不够了。如果产品模块和功能较多,可以先将各自的评论和反馈区区分开来,再进行分析。
如果是自己独自完成,只需写下分组名称就好了。如果维保准确性,多人同时进行,则需要给每组写下描述和规则。
下面是范例:
3、完成分组
按照通过前25条设计的分组方案,阅读其余的内容并完成它们的分组。在这个过程中,如果发现先前设计的分组方案不合理,可以进行修改。
以下是滴滴出行的分组范例:
4、记录关键问题和现象
在分组过程中或之后,仔细阅读评论的过程中肯定会遇到一些关键的问题和现象,你一定要在发现的第一时间记录下来,不然后来肯定就忘记了。
这也是通读评论的价值所在,通过一条一条的理解,很多真正的问题都藏在粗略的文字背后。例如,滴滴出行的反馈里面多次出现“相同路线来回价格不一致”、“预估价格与实际价格相差过大”等评论,它们是不是都指向一个问题——“缺少价格解释”?
滴滴出行的范例:
5、统计分析
如果你整个分析都是在Excel里完成的,那么统计起来就方便了。你可以算一算正负面评价的比例和最受关注的问题。
不过,最有用的分析可能挺不是这些定量的数据,而是你记录下单关键问题和现象。通过整理,你会发现很多之前没有想过的问题,只有真正一条一条阅读分析才能挖掘出来。
范例:
其它
一个人的判断不一定准确,所以这种分析可以叫上两个人同时进行,这样的话分组规则就不能轻易修改了。两人分别分组之后,可以计算一下两人得出相同结果的概率是多少,通常要80%~90%以上才能够确保结果的可信度。
分析关键问题这一步骤其实已经超出传统的定量分析,借鉴了一些定性分析的成分。因为这毕竟是产品的用户调研,不像心理学研究那样要求绝对的准确率与客观性,所以这里就可以不用太过拘泥于方法,关键是一定要通读并理解所有内容。
评论和反馈中肯定有相当一部分是你无法理解或是与产品无关的,这些内容可以跳过不计。
总结
内容分析的方法毕竟太过专业,真正做的时候可以有一定的灵活性,但是这四条不能忽视:
保证内容的数量在50条以上,但也不用太多
一定要通读并理解,不要随便扫一眼或者干脆搜索关键词
谨慎并且不断优化分组规则
透过现象看本质,随时记录发现的关键问题
标注:我使用“分组”这个词,与英文中的“coding”有很大差异。但是直译的话会容易让人产生误解,所以使用了感官上较为模糊的一种翻译。