作者上一篇《这才是VUI设计师完善的工作流程(上)》和大家分享了VUI设计流程四大阶段中的需求分析阶段和设计阶段,本篇文章将和大家继续分享场景数据收集阶段和持续优化阶段。
VUI设计流程主要分为四个阶段,即需求分析阶段、设计阶段、场景数据收集、持续优化阶段(本篇主要和大家介绍场景数据收集阶段和持续优化阶段)。
三、场景数据收集阶段
为了让我们的对话机器人能和人进行自然对话,我们需要收集更多真实的场景数据来丰富机器人的知识库,因此在收集时我们需要知道收集哪些内容、以及通过什么渠道进行收集。
1. 需要收集的内容
在内容收集时,我们需要根据任务类型来进行,针对任务型对话我们需要收集真实场景下的对话样本、词典词槽,针对问答型对话需要根据之前归纳的分类,收集对应的问题和答案。
主要是在真实环境下,收集相同意图不同人的问法。然后将这些对话样本导入到系统中,给机器人做示范,教他如何理解对话意图,知道哪些词是重要信息,对应的词槽是什么,以4S店汽车销售机器人为例:
通过对话样本告诉机器”我想买一辆30万以内的奔驰车”和“帮我选一台20万以内的宝马车”都是选车的意图,其中“30万”和“20万”都是价格的词槽,“奔驰车”和“宝马车”都是品牌的词槽。这样训练多了,机器人对话就越来越自然了。
(2)收集词典词槽
词典词槽主要指为了完成某个意图所需要提供的关键信息,以4S店汽车销售机器人的选车为例:
比如“我想买一台30万以内的车”,其中“一台”是数量词槽、“30万”是价格词槽、“车”是品牌词槽。
然后将系统中所有意图进行整理并收集对应的词槽。在收集时,我们需要根据词槽,整理出3-5条实际的对话样本案例,让系统识别准确率更高。
(3)收集问答对
问答对相对比较简单,我们可以根据问答型故事线中整理出的分类,尽可能全的去收集真实场景下用户会问那些问题,系统又该如何回答,以4S店汽车销售机器人为例:
在收集问答对时,我们可根据汽车的配置、保养、油耗、上牌、贷款、提车、改装、售后等,将问题和答案进行整理,这里一个问题最好能整理出多种问法。
2. 通过什么渠道进行收集?
上面我整理了真实场景下三大需要收集的内容:对话样本、词典词槽、问答对,那么这些真实场景的数据该如何去收集呢?我们可根据网站数据、客户中心数据、用户调研来收集。
(1)网站数据
如果你的产品原来就有网站、APP,那么数据收集起来就相当容易了,我们可以根据用户平时的反馈情况、常见问题解答、系统日志、消息记录等进行收集。
(2)客服中心数据
如果你的产品有客服服务,那么这部分数据收集起来可以帮我们大忙,因为不管客户是通过文字咨询客服,还是通过电话咨询,这些数据已经是自然对话的内容了,能帮助我们了解客户在操作中真实面临的问题,以4S店汽车销售为例:
当你去咨询时,一般他们都有销售的模板话术、实际场景的销售对话案例、售后客服、网络客服等,这些数据都是一份不错的资源,都可以收集起来。
(3)用户调研
如果你的产品是初创的,没有以上现成的数据,我们可以通过用户调研,人工模拟对话过程进行收集,这部分数据一定程度上可以代表真实用户的想法。
在收集时我们最好模拟人和机器人真实的对话流程,这里我们可以直接通过发送消息的形式,获得对话内容,在开始前,我们只需要告诉用户测试目标,同时和他说他是在和机器对话(实际是你),让对话尽可能的真实。
那么如何进行用户调研呢?用户调研可以分为两个阶段前期调研和后期调研,下面一起来看看。
1)前期调研
前期调研数据不用过多,只需要3~6个建立初始数据即可,我们可以根据需求分析制定的用户画像,寻找满足类似条件的人,并记录他们整个对话内容,以4S店汽车销售的用户画像为例:
我分别列了三个代表型人物,我们可以根据这些人物特点寻找对应的调研对象,每组找2个适合的人即可,由于每个的职业、文化水平、期望值不同,因此沟通内容也不同,需要我们将其一一记录下来。
2)后期调研
当系统有一定的数据后,我们可以利用对话工具来进行数据收集,这时候我们可以邀请100到200个不同人群、职业、年龄、性别等人来进行测试,这样我们可以收集到更真实的数据。
这里我们可以利用百度UNIT搭建一个对话系统,快速收集数据。
最后大家需要注意虽然以上的数据能够提供给我们帮助,但是这些只是开始,在真实场景中可能会遇到更多的问题,你会发现之前的数据已经不能满足,这时候就需要我们持续进行优化对话样本、词典词槽、问答对等。
四、持续优化阶段
场景数据收集完后就该交给工程师搭建对话系统了,当系统搭建完成我们的工作并没有完,还需要继续优化,我们可以通过系统日志分析,发现系统中未识别或识别错误的意图,以及分析已识别的意图是否是核心需求。
1. 优化未识别的意图
当你在检查日志时发现未识别的意图时,你需要进一步确定该意图系统是否已定义了。
1)如果系统未定义意图,同时其是核心功能,优先级高,那么我们就需要从新定义意图、制作对话样本,如果优先级低我们可放到后面再优化。
2)如果发现未识别的意图,系统已经定义了,那么就需要我们检查看看在设置中是否有遗漏,比如有没有对应的对话模板,对话模板写得对不对。
2. 优化识别错误的意图
在日志分析时,如果发现识别错误的意图时,我们可以通过检查找出错误意图,并进行修改。另外,我们还可根据用户反馈发现识别错误的意图,并进行修改。
3. 优化已识别的意图
在日志分析时,针对已识别的意图,我们还需要判断他在对话中的占比,进一步分析该意图是否对应用户的核心需求,是否需要调整。
4. 合理使用知识闭环推动效果优化
持续优化的阶段需要整个团队来进行,下面可以参考百度UINT提供的优化流程图。
VUI设计师/对话训练师优化对话样本、词典词槽;开发者需要测试对话、效果评估、应用对话模板/样本,技能训练,生效到沙盒环境;用户需要发布到生产环境、交互学习、生成对话日志。
然后VUI又根据日志优化未识别、识别错误、已识别的意图,持续两个数据闭环的优化就可以让技能模型更智能了。
划重点
本篇和大家梳理了VUI设计师的工作流程中的场景数据和持续优化阶段,知识点分别有:
场景数据阶段:VUI设计师完成需求分析、对话设计之后,还需要进行场景数据的收集,比如收集对话样本、词典词槽,问答对等,让人机对话更真实自然。
持续优化阶段:优化阶段和UI类似,UI设计产品上线之后需要进行界面的验收;VUI也需要进行验收,主要从四个方面进行优化:未识别的意图、识别错误的意图、已识别的意图、合理使用知识闭环推动效果优化。
#参考引文#
https://ai.baidu.com/unit/home百度大脑UNIThttps://ai.baidu.com/docs#/UNIT-v2-sample/top 实用范例
《语音用户界面设计》[美]Cathy Pearl著 王一行译