快好知 kuaihz

AI识别技术,在改变全球流媒体

文章从AI识别技术出发,对其应用进行了分析探究。AI识别技术的商业应用以视频推荐和广告投放为主,作者对其未来发展进行了展望,与大家分享。

话说,最近这高质量网综也太多了吧,都看不过来!

我这时间,全耗在各种职场、侦探、语言、演技类节目里了。

那今天,咱就来说说,这些流媒体平台吧。

我一直觉得啊,咱互联网企业的“落地”能力,那是杠杠的。

同样类型的App,对比国外App,国内大厂总有各种新奇的功能,真引领世界。

周末,我看《奇葩说》的时候,就发现爱奇艺在推广一个新玩意儿—— “扫一扫”。

视频旁边,会有个扫面按钮。开始我还不知道,这是干嘛的。

点击了之后才发现,原来是对内容扫描啊,进行人脸识别。然后,会告诉你视频里的人都是谁,还有相关百科。

哇,完美解决观众常见需求—— “这人谁啊?”。

仔细想想,技术上,还真挺难的。

要知道,这可不是机场里面那种 1:1 人脸识别,你可以正对着摄像头,让系统认出来。

你看,诞总和虫仔,视频里根本没看镜头,机器只能根据一部分侧脸做出判断。

在我看看来,类似“扫一扫”的创新功能,改变的可不仅仅是优化用户体验。

通过这小小的功能,我看到的是全球流媒体平台们暗潮涌动的技术整体实力的竞争,以及在“识别”这个动作下,人、场、物,正在技术赋予的想象力中串联在一起。

来,我们先“认识”一下

“扫一扫”是众多AI在视频里应用的一个小例子,实际上,AI已经充斥在视频各个环节。

要让AI得到更充分的应用,第一步,当然就是要认识视频里的内容。

这个能力没有,后面都没法玩儿。

来,咱直接先看一个AI最复杂的应用场景—— 艺术创作。

今年7月,Netflix财报披露:公司正在研究利用AI生成预告片。

很快,Netflix就可以快速、大量地,对海量内容自动生成预告,质量还非常高哦。

在降低剪辑师人工成本的同时,这千人千面的预告片,又会增加影片点击率和观看时长。

其实,在2016年时,21世纪福克斯和IBM就推出了Watson系统给自家的惊悚片Morgan自动生成预告片了,只不过不能像Netflix这大批量搞。

这背后的原理其实都类似,一共分两步。

第一步,就是识别并理解内容

把剪辑好的全片直接倒入,系统首先就会开始对内容进行识别

比如,进行复杂环境下的人脸识别,认出演员是谁,还能知道谁是主角,谁是群演。

除了人,还会对景色、物体识别,贴上各种标签,比如“公园里”,“家里近景”等等。

另外,还会对台词和配乐分析,识别各个片段的情感,是惊悚还是温情,一目了然。

这一过程想要做到详细,是很耗费时间的,因为要跟其他来源的数据对比。比如IBM的Watson,就需要24小时来完成。

第二步,就是根据既定工业化套路生成预告

比如,同样是30秒的预告,可以有各种风格,和各种模版音乐,按照相关标准生产即可,再根据用户喜好投放。

假设,让你用AI剪辑沈腾的喜剧电影合集,那可以想象出来,这最起码可以有“感人风格”和“爆笑风格”两种模版。

上面这两步里,第一步的“识别”是基础,第二步的“生成”则是应用。

当然,第一步最为重要也是必须,而且同一部影片,系统理解一次之后,结果可以重复利用,赋能更多应用。

第一步的“识别”还真是“基础武功”。正因如此重要,各大流媒体巨头都在重点投入研发。

国内方面,老大哥爱奇艺在研究识别这件事上下了大功夫。比如爱奇艺计算机视觉的研究成果多次被包含ICCV在内的学术会议收录,多次在挑战赛获奖。

爱奇艺还曾直接联合了国内外顶级视觉和多媒体会议,如PRCV2018和ACMMM,首次发起“多模态视频人物识别挑战赛”,还公布了全球最大的明星视频数据集(iQIYI-VID),联手产学研,取得突破。

你问啥是多模态识别

简单说,就是基于人脸、声纹、姿态、场景等综合识别,这样一来,即使在暗光下、化浓妆、侧脸等等,都能准确识别,它对提升人物识别的精准度非常重要,属于AI领域中前沿的技术。

开头提到“扫一扫”能识别半张脸的虫仔,核心能力就来自于这儿。所以这些应用看着好像没什么,但没点硬核技术还真不行。

比如爱奇艺办的这两场大赛,就让它的人物识别精确度大幅提升。不然你以为一家娱乐公司为什么要天天搞技术研发。

当AI系统“识别”了视频内容,那就算是“正式认识”了。在之后,更多的应用可能性,就可以展开了。

“认识”之后,事儿了就好办了

如何利用AI已经“识别”好的视频数据呢?

这时,就要想下流媒体平台的位置了:链接「创作者」和「观众」。

对于「观众」们,就是要想办法提高用户观影体验,而对「创作者」,就可以帮助他们更快更方便的做出好内容。

先看「观众」端。

有了识别的信息以后,最简单的应用就是…直接把结果显示给用户呗。比如,文章开头提到的“扫一扫”。

TV端也有类似的,比如奇异果AI雷达—— 显示明星信息,进入泡泡社区等。

其他相关的应用还有——「只看TA」,腾讯视频和爱奇艺也都支持。

点了之后,用户就可以只看自己爱豆的cut了,比如看一万遍“坤坤唱跳篮球Rap”合集。这背后,就是利用了各种识别技术,人脸、表情、场景等等。

诶?于此推演,我有一个脑洞。

那就是,“只-不看TA”。想一下,是不是对于某些剧啊,综艺啊,你老觉得有些地方比较多余?比如,《亲爱的》里面的回忆画面,还有《破冰》里面的陈珂。是不是感觉,你需要这个功能。

其他的,还有对特定人群的使用优化,比如腾讯视频的儿童模式保护,爱奇艺的AI手语主播片段生成,B站等弹幕网站的智能防挡脸功能等等。

好,那再来看看对「创作者」的应用。

上面提到的预告片自动剪辑,就是一个高级的例子。

国内方面,AI也已经被主要用到两个方面:智能选角色,还有,智能剪辑。

AI选角,可以根据剧情需要和演员信息智能匹配,大大提升选人效率和成功率。爱奇艺的“艺汇”和优酷的“鱼脑”系统,都已经正式商用。

选角的结果,就有《泡沫之夏》的张雪迎、《最好的我们》的刘昊然,还有《长安十二时辰》的雷佳音等等。

剪辑方面,目前已经商用的,更多的,是一个“助手”角色。比如,拍真人秀的时候,需要FollowPD时刻记录,还要后期各种人工打标签,剪辑的时候超级费劲。

有了AI的加持,系统可以快速扫描内容,然后按照明星角色分类,还可以识别各类场景,甚至人物的语言和情绪,给各个片段都打上有用的标签。

比如,在《中国新说唱》后期制作的时候,AI就帮助剪辑师通过特定标签,精准找到需要片段内容,数秒内就可以调出特定人物素材,大大缩短制作时间。

类似的系统和功能,国内各大产都有投入,爱奇艺的智能剪辑,腾讯智能云剪辑,优酷的鲸观剪辑等等。

当然,AI的能力不仅在于提升体验,最重要的,还是帮平台赚钱。

识别”与流媒体平台的“赚钱引擎”

AI怎么帮流媒体平台赚钱?这里有两个重点应用:视频推荐以及,广告投放。

当然,这背后都有统一的关键词“匹配”——内容和人,广告和人。

当用户能更快的看到自己想看的内容,会员就会不退订。当用户能发现自己喜欢的商品,广告主就不会停止花钱,这样整个机器就会运转。

根据Netflix,其平台80%的观看量都来自于推荐引擎。他们希望用户能在1分钟之内开始观看节目,否则用户很有可能会有关掉整个App。

除了常见的,在网站和App上,根据推荐位的权重不同,以及用户的喜好程度推荐视频之外,Netflix还可以利用智能识别到的视频图像信息,生成个性化的视频封面。

比如,一部剧里有很多演员,Netflix会先“识别”出不同的角色和演员,之后专门用你喜欢的演员当封面,类似的还可以应用在不同场景和色调上。

比如下面这个《奇怪物语》,就可以生成无数种不同的封面,角色、场景都不同。

另外,还可以根据你看视频的时间和历史内容,体会你的心情变化,推荐不同的视频。比如,一部电影可以有「浪漫」和「惊险」两种风格的封面。你大半夜的,刚看完一部恐怖片,那就会给你用浪漫风格推荐,平复一下心情。

国内方面,推荐能力各家均有部署。

爱奇艺推出了个性化海报,可以根据用户的喜好,“识别”用户喜欢的海报并推送。去年3月,奇异果TV的首页个性化长视频推荐功能落地,为用户提供千人千面的推荐服务。

除了卖会员,广告也是流媒体平台的重要盈利方式。

在之前,视频的贴片广告,就只是随便地插入到视频里,再正常播放就完事了。广告和视频本身几乎分离,用户体验很差,广告转化率也很低。

后来,YouTube和爱奇艺等头部企业,探索了智能广告插入点,也就是,在适合的情况下插入广告,以减少用户体验的损失。

最近两年,大家又开始探索,怎样能让广告也和视频内容完美切合。

比如,爱奇艺的创可贴广告,会根据AI对视频内容“识别”的结果,比如不同的场景、角色、演员、情绪、动作、台词等,选取广告点位。

之后,在影片播放过程中,以浮层展示不同品牌形象的广告。

基于不同剧情而推送的广告,其内容与视频情节有了关联,用户体验和商品转化率都大幅提升。

去年爆款大剧《延禧攻略》上,这类情景广告就有广泛应用,大受广告主喜爱。

看到爱奇艺最新的“扫一扫”功能,我觉得,全新“电视购物”的时代要来了。

自动识别内容+ 电商链接,绝对是一个新亮点。随便看一个什么综艺啊,现代剧啊,就约等于电视购物。

看到节目里面的明星们,在穿啥用啥吃啥,你突然种草了的话,那就直接“扫一扫”视频画面呗,然后你会知道这些商品是什么,然后去直接购买。

这一定是一个新的电商流量入口,再也不用自己去搜什么“xx同款”了。基于准确的识别,实现了人、货、场的连接。

国际方面,YouTube在2017年就尝试广告内容个性化方案,推出Director Mix工具,方便让广告主根据不用用户定制化广告。

比如,同样一款汤类产品的广告:

如果你在看《星际穿越》,那么贴片的广告语就会是“感到世界之外的饥饿了吗?”

而如果你在看《女子监狱》,广告语就变成了“牢里的饭不好吃?我们的汤好吃。”

要是你在看碧昂斯的《SingleLady》,那就说“一个人吃晚饭?”

根据YouTube,这种和视频内容极度切合的广告方案,让这款新的汤品的品牌认知度提升55%。

识别”技术和未来

AI在流媒体中的应用,重点就是视频识别技术的各种落地。

从Netflix和爱奇艺等中美流媒体巨头的动作,我们可以看出这些年的布局特点。

首先,重点铺研发。从Netflix早年举办轰动业界的百万美金推荐引擎大赛,到爱奇艺最近的识别大赛,都是企业在贴近学界,布局基础能力。

之后,要利用识别到的数据,展开落地应用探索。流媒体们,作为中间平台,向下游,要尝试提升用户体验的功能,向上游,则要方便节目选角和影片制作。

重点,是要通过强大的AI能力来赚钱,更好的推荐引擎,更优化的广告技术甚至尝试融合电商,都是流媒体们商业化探索的成果。

2019年,随着苹果TV+和迪士尼+正式商用,流媒体的竞争更激烈了。

流媒体的竞赛,除了内容自制和版权领域外,最大的战场就在AI,就在视频识别能力的突破,以及像样儿的落地应用。

5G时代下,没有卡顿的体验和越来越强的AI,将会把用户的最后一滴时间“榨干”,你准备好了吗?

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:流媒体  流媒体词条  识别  识别词条  改变  改变词条  全球  全球词条  技术  技术词条  
热点数码

 2021 值得推荐的降噪蓝牙耳机...

随着蓝牙耳机技术的不断发展,以及环境噪音问题的日益严重,带有降噪功能的无线蓝牙耳机,开始被越来越多的消费者所接受。即便是在户外使用,有着噪音的干扰,也能享受高清...(展开)