虚拟人概念在2021年全网爆火,从时尚博主AYAYI到美妆达人柳夜熙再到清华大学虚拟学生华智冰,在抖音、小红书等社交平台上,虚拟人、虚拟偶像一度成为了“流量密码”。
根据此前艾媒咨询预计,2021年中国虚拟偶像核心产业规模达62.2亿元,而到2023年,有望突破200亿元。
当收割了大量流量之后,人们也开始提出疑问,除去噱头之后,虚拟人带来的商业想象力到底还剩多少?
除了无瑕偶像以外,虚拟人是否能为人类的生活中发挥出更多的社会价值?
意料之外的是,在2022年的冬奥会上,2021年爆火的虚拟人概念,获得了广泛应用。
近日,央视主持人朱广权和AI虚拟人手语主播的一条pk短视频引发了全网关注。
画面中,朱广权金句频频,语速惊人。
而一旁的虚拟人手语主播也是见招拆招,根据朱广权的话同步即时进行手语翻译,最后圆满成功完成了挑战。
根据全国第二次残疾人抽样调查数据,中国目前有2780万听障人士。
为了让这些同样也在关注冬奥盛事的听障群体们,第一时间获取比赛动态和感受赛场上的激情,百度智能云团队花了2个月的时间打造了这个虚拟人AI手语主播,从北京冬奥会开始,全年无休用AI智慧为听障用户提供手语服务。
在过去,我们从荧幕上看到的手语翻译,大多是由真人完成。
打造一个手语数字人并不简单,主要有三个难点:
1、不同地区的手语各不相同,需要一套类似普通话通用版的手语。
2、手语的语序与正常说话的语序并不相同,虚拟人大多需要先进行提炼和语序调整,再进行翻译。
3、手语不仅仅只是靠手部动作传递信息,表情、口型也是关键组成部分。虚拟人不仅要准确地用手语进行翻译,还需要准确地根据语境做出表情反馈。
普通翻译讲究信、达、雅,一个AI虚拟人手语翻译,要像真正实现替代真人,就必须足够智能。
百度打造的虚拟人手语主播之所以能够拿下朱广权的挑战,离不开各种技术的加成。
为了让虚拟人听得清主持人/解说员在讲什么,百度方面利用了ASR语音识别模型帮助虚拟人主播准确识别语音。
据报道,这一系统的准确率高达98%,还能够准确识别方言、中英文混杂的情况。
为了让虚拟人手语主播实现准确的翻译,百度在训练这一模型的时候,主要应用了自然手语语料。
在我国,存在的手语种类超过百种,为了让更多的听障人士能够看懂,央视新闻AI手语主播掌握的手语词汇规范都来自《国家通用手语词典》标准,另外还添加了体育专有名词、时政新闻、常用短句等特殊训练。
为了让虚拟人通过表情进行更加准确的表达句意,百度智能云方面建立了一个拥有近万个手语动作的动作库,推动精准手语表达实现。
在口型与表情上,百度智能云通过4D扫描数据进行训练,为表情与口型进行精准矫正,总体上口型生成的准确度超过98.5%。
当然,除了百度的虚拟手语人主播以外,2月3日,由北京智谱华章科技有限公司、凌云光技术股份有限公司和北京广播电视台联合打造的“冬奥手语播报数字人系统”也正式上线。
这一系统基于北京智源人工智能研究院“悟道2.0”超大智能模型进行研发,自主搭建多模态肢体动作、表情、手指同步采集系统,目的也是方便残障人士收看赛事报道,目前已经在“冬奥赛事集锦”和“一起看冬奥”电视节目正式亮相。
智谱华章是清华大学计算机系知识工程实验室的技术成果转化而来。
智谱AI合伙人左家平曾经这样评价虚拟手语人产品:“它类似于一个拥有了1.75万亿条知识的大脑。”
今年冬奥的冰雪赛场上,谷爱凌是滑雪赛场上的实力金牌选手,赛场外,由中国移动通过最新的云计算技术打造的谷爱凌孪生虚拟人Meet GU也是忙得不可开交。
在冬奥会举办期间,Meet GU在咪咕冬奥赛事演播室中完成了滑雪赛事解说、播报及场景电商的虚拟互动等工作。
据报道,Meet Gu背后的技术主要是通过高质量肢体及亚毫米级面部绑定,采用动补驱动亚毫米级数字人并达到4k质量合成。
Meet Gu的外形、声音,神情与妆容、毛孔细节、皮肤质感都与谷爱凌本人1:1还原。
除了Meet GU之外,咪咕方面还打造了徐梦桃、隋文静、韩聪、任子威等4名冰雪项目运动员的虚拟数字人。
他们在冬奥会开幕前夕曾在2022年中国网络视听年度盛典上合唱了冰雪助威曲《准备好》。
当然,除了热门IP的虚拟人在荧幕中亮相之外,一些实用场景的虚拟人也正在为人类减负。
在冬奥会开幕前十天,虚拟人气象主播冯小殊在中国天气WAP、张家口气象公众号等新媒体平台上已经正式上岗,为选手和观众们实时播报体感寒凉指数、穿衣指数、感冒指数、冻伤指数、防晒指数、护目镜指数等气象信息指标。
虚拟气象主播冯小殊由中国气象局华风气象传媒集团联合小冰公司打造,以“中国天气”主持人冯殊为原型,依托小冰框架数字孪生虚拟人技术构建。
通过一周的深度神经网络渲染技术及小样本学习技术,冯小殊出炉,从外貌、动作到神态与真人是真假难分。
03 小结
开幕式上表演节目的洛天依、全年无休的手语主播、咪咕演播室里的谷爱凌数字分身、数字人版奥林匹克公益宣传大使REAI、从冬奥开幕前10天就开始播报天气的虚拟气象主持人冯小殊……
在本次冬奥会现场,虚拟人已经开始在为人类“打工”。
有业内人士给出了这样评价:冬奥会为虚拟数字人的应用打造了一个绝佳的契机。
这场举国欢庆的盛事,为虚拟人提供了一个走向千家万户的展示舞台,让人们知道虚拟人并不仅仅只是纸片人,也不光是智能局限于二次元的娱乐产物。
虚拟人已然是势不可挡。
,