好莱坞大导演乔治·卢卡斯说:“电影的一半是声音。”美国视频技术公司Ooyala最近的一项调查显示,2014年第一季度,全球使用智能手机或平板电脑等移动设备观看视频的比例已达到21%。而在两年前,这个数值还只有3.4%。如果按照他的这个标准判断,那么用移动设备看电影的观影方式将使电影丧失掉一半的精彩。
除了屏幕大小的限制,相对于已经开始普及的影院全景声,移动设备目前所呈现的大多还是扁平音频。事实上,声音在很长时间里都不被移动设备厂商重视。就连苹果2010年推出并从此改变了平板市场的iPad,也只配备了单声道扬声器。
“在移动设备的设计过程中,声音一般都不是排在第一位的。最优先的是天线和处理器的摆放、电池的大小。之后才是声音硬件等部分。”杜比实验室资深技术经理郑治德说。作为一名录音工程师,郑治德是一个“声音爱好者”,他在音频领域已工作了20年。而现在,他的一项工作就是帮助移动设备厂商把声音做得足够好。
然而,当1080p高清内容日益成为视频网站吸引用户的标准配置后,在线视频的声音效果一直以来却没有什么显着变化。所以,不光是郑治德,包括硬件商及内容提供方,都开始将注意力集中到提高移动端的音效水平上来。不过,相比提高在线视频的清晰度,提升移动设备的音效是一个更大的难题——这或许也是其音效水平长久没有变化的原因。
“设备较薄的物理尺寸以及碎片化生态系统,加上所提供的内容品质的不确定性,都增加了高质量音频播放的难度。”杜比实验室移动业务高级产品经理Emmanuel Delorme说。杜比的解决办法是,在移动设备上对电影院中的环绕声效果进行一种声音方向的虚拟。目前,杜比的Audio技术中,就有一项移动环绕声解决方案。它定义了5个虚拟的扬声器,只要移动设备内置该技术,使用普通的耳机便能够在手机或者平板电脑上获得5.1声道的环绕声效果,而普通移动终端上播放的视频通常只有单声道或多声道。要实现这种效果,依靠的是杜比的一套解码算法,配合生理上的听觉效应,人们能产生一种被声音“包围”的感觉,有的声音稍近,有的声音稍远,但其实全部声音仅来源于耳机或者移动设备自配的扬声器。
不过,要真正使环绕声在移动设备上得到普及,除了技术,杜比还需要打通产业链上下游的各个环节。其中,视频网站是一个重要角色。用户对电影和电视节目的消费习惯,已转移到移动设备与视频网站的组合上。根据中国互联网信息中心2014年年初的报告,中国近七成互联网用户会通过网络看视频。而在美国,半数互联网流量被Netflix和YouTube这两家视频网站占据。
杜比在中国的一个合作伙伴是爱奇艺。2013年下半年,两家公司开始合作,但对于爱奇艺而言,要在移动设备上提供环绕声内容,也面临着从未有过的挑战。
首先,这对网络传输带宽和后台云端服务器提出了很高的要求。如果一部电影自带杜比5.1声道,那么它的音频码流会达到200K至400K,双声道音频码流只有这个数字的1/5左右。5.1声道音频码流除了会加大服务器后台存储空间,同时还会提高用户在观看视频时出现停顿或缓冲的次数,这样的“牺牲”,很少有人愿意付出。
为此,爱奇艺花了半年时间来进行“视频生产线”的改造。爱奇艺首席技术官汤兴和其技术团队增加了一倍的云端服务器存储空间,专门存放杜比5.1声道的音频码流。他们还对底层传输进行改造,加大传输带宽。同时,对码流的编解码进行技术调整,使得码流在传输过程中尽量不会超过下载网络的带宽。
“流媒体和本地播放视频其实很不一样,流媒体受到环境的影响,网络也是不稳定的状态,所以在实现环绕声时,要考虑很多。”汤兴说,“我们做出的调整主要是在用户体验,包括内容生产、内容传输、编解码优化等方面。”
怎样听到电影
如果还原一部电影在这条被改造过的生产线上的全过程,那么它大概要经历这么几个主要环节:
从版权方购买的视频内容被传输到制作设备上时,会被检测出是否带有杜比5.1声道环绕声的音频,通常来说,通过DVD和蓝光方式发行的影片几乎都已经提供杜比5.1声道的环绕声。
随后,视频网站的制作设备会自动通过杜比技术进行编码,随后视频生产机器会自动通过杜比技术进行编码,再将视频与音频相结合,上传并存放在云端服务器上。音频码流和视频还可以单独存放,从而更为灵活地使用服务器存储空间。
当用户在手机或者平板电脑上点击视频,进行播放的那一刻开始,相应的App还会自动检测用户所使用的设备。如果是带有杜比Audio技术编解码的终端,App将会自动请求传输杜比5.1环绕声的音频码流。经过技术调整编解过的码流,会尽可能不超过用户下载带宽。
费如此大的功夫去提升视频的声音效果,汤兴认为是值得的,用户最终会选择那些能得到更好体验的产品,就如同视频内容向更高清的1080p进化的过程一样。据汤兴介绍,这种内容开始也没有太多用户选择,但目前,在爱奇艺上,1080p视频的流量已超过20%。汤兴预计,移动端上的环绕声也会如此。
不过,除了视频网站,杜比还需要与英特尔、联发科、高通等芯片制造商通过技术合作,向移动设备品牌提供支持杜比Audio解码技术的芯片——这是实现移动环绕声商业化的基础。
目前,诸如亚马逊新推出的手机Fire Phone等设备已配备杜比Audio技术,但还有不少智能手机和平板电脑没有配备—用户是否会选择这样的产品,是否愿意为这样的附加价值多花费一些资金,仍是一个疑问,或许还需要一个培养消费习惯的过程。相比逼真的声音效果,用户可能更在意视频播放的流畅度,二者之间的矛盾是新技术必须权衡的。“下一代技术还会有突破,可以在音频质量大幅度提高的情况下,让音频码流下降,实现传输更快。”汤兴说。