“星战之父”乔治·卢卡斯曾说过:“电影所呈现的效果的一半靠音效组成”。那么,在VR/AR领域,音效是否起到同样的效果呢?
行业人士越来越意识到,空间音频设计是构建沉浸感的关键。Virtuleap联合创始人兼首席执行官MIR BOZORGZADEH不久前参加了NYVR Expo,就再次探讨了空间音频之于VR/AR的重要性。
可以说,沉浸式世界是现实世界的创意性的一种模拟和还原,声音和听觉效果所发挥的作用远远超过我们的预期。
在NYVR Expo上,音效设计师兼听力学博士Laura Sinnott表示:“声音通常在画面之后出现。声音是无形的,通过分子振动进行传播,并利用声波表达移动的物体。”
确实,我们需要承认:现代化世界充斥着各类杂音。在这样的环境下,我们的大脑通过麻痹或过滤性接收大部分频谱来适应嘈杂环境。一切都是为了使我们的日常生活更加舒适。
1. 刺激听觉
Sinnott解释了基础听觉对我们的重要性:它不仅是一种交流媒介,同时是我们情感认知的关键。同时与当前相比,它与过去更具相关性,甚至对我们的生存也更为重要。她还指出,听觉是人类在子宫中第一个产生的感官,它对于人类的存在起到了重要作用。尽管我们已经对声音不如以前敏感,但XR或许能够提供一些解决方案。
Sinnott表示:“听觉是最原始的感官之一。尽管晚于平衡系统,但它的进化很有可能要早于视觉。无论是用于设计网络中的沉浸式音频,还是传统的单声道无线广播,设计师都需要对声音以及其能发挥的效果有一定的理解。”
在NYVR Expo上,我相信,XR可以重新为听觉打开一扇大门。在论坛上的一个环节中,幻灯片上写着:
“眼睛让我们看到面前的元素,但耳朵却可以把世界带到我们身边。”
2. 如何设计空间音频是关键。
在创建沉浸式体验时,XR创作者很快就会认识到音频从来就不是次要因素。台湾作曲家与音频设计师张宥程写道:“如果没有设计合适的音频去匹配作品,那么作品也将失去其魅力,无法完全展现出故事的完整性。”
如果没有设计空间音频,或者更糟糕的是,在某种形式或形态上不匹配,这将会成比例地对临场感的质量产生影响。当观看沉浸式内容时,无论是身体还是情感上,我们都会沉浸其中。因此糟糕的空间音频设计可能令人感到不适,比如说杂乱的视频拼接。
3. 音效是沉浸式体验的核心。
事实上,空间音频是我们认知的基础,对我们存储记忆有重大影响。下图为戴尔的经验之塔(视听教育的主要理论依据),其中从上数第三行的橘色代表了音频/录音/照片,可以看到在文字/语言符号和图片/视觉信号基础上,有了音频人们能更加专注,对知识的记忆力也更强。
作曲家Jeff McSpadden说道:“正如图表所示,当为体验添加音频时,学习留存率就会提高。视觉和声音的结合带来了进一步的沉浸效果(这就是为什么视频变得如此受欢迎的原因),但当学习者沉浸在视觉和听觉之中时,就像大多数XR一样,这可以让人们记住90%的要点。”
McSpadden是Composure和Prime8的首席执行官,一直致力于沉浸式音频设计。前者是一家利用空间音频和交互式音频来减轻人们压力的科技公司;后者则是一家专注于声音视觉项目的创意实验室。
他解释道:“对于Composure而言,我们正在努力将交互式空间音频作为沉浸式体验的重点。我们的目标是创造个性化的沉浸式音乐体验,帮助减轻用户压力并促进积极情绪。大量证据表明,(被动地)聆听音乐有助于减缓压力,但当他们主动参与时,放松和集中注意力的效果也会进一步提升。”
AR设备同样有所帮助。比如说今年3月音响巨头Bose宣布推出Bose AR眼镜,并创立了5000万美元的风险基金,为与Bose AR平台合作的初创公司提供资助,以构建一个良好的生态系统。
McSpadden认为Bose AR眼镜对每一个人都有好处,尤其是盲人。他们将通过与空间音频的结合在培训、教育和娱乐等方面发挥巨大潜力。这款产品将成为加速空间音频走近日常生活的垫脚石。
4. 如何将XR技术与空间音频相结合?
XR技术同时可以作为科学和研究领域的延伸,帮助科学家更好地理解声音。今年10月,美国空军构建了一个消声室,在这一空间中,277个扬声器被放在一个14英尺的球体内,在其中放置了一个物体或传感器阵列,可以完全吸收物体的声波,以更好了解声音传播的原理。
事实上,这时XR技术就可以派上用场。通过XR技术,不用大型的无回音室,我们也能控制声音的频率与振动,以强化音效。
剑桥大学和纽约市立大学心理学家与音乐家David M. Greenberg博士表示:“消声室改变了我们通常听到的声音的频率。XR技术能够控制音乐的频率和振动特性,从而真正改善声音效果。”
但无论是面向消费者的、企业还是心理声学研究,沉浸式空间音频设计将毫无疑问地提升我们对声音的理解,并同时提高我们对其价值和潜力的认识。
来源:87870