麦格克效应会让你听错
耳朵和眼睛是我们观察世界的窗口,人接收外界的信息中有相当大的比例是通过视觉和听觉来获取的。视觉和听觉对人类非常重要,当然它们并非缺一不可——如果一个人不幸失去了视力,他可以通过说话和别人交流;而如果一个人失去了听力,他也可以通过观察唇语,来获取他人表达的信息。
耳朵“听”东西,眼睛“看”东西,它们好像是独立工作、没有联系的,实际上它们之间是有联系的。如有些人就能靠看别人的说话时嘴唇的动作,就可以知道别人说话的内容,这称之为唇语。有些有听力障碍的人,根据讲话人的口型,也可以“听懂”别人说的话。
但许多人不知道,听觉与视觉之间还会相互干扰。
上世纪70年代,为了探究视觉是否影响人的言语感知,也就是视觉是否会影响听觉,英国萨里大学心理学家哈里·麦格克和约翰·麦克唐纳做了这么一个实验:他们找来一些成年人观看一段视频,视频中人的嘴唇发“ga”的音,但放出来的却是配音“ba”,结果有98%的受试者表示他们听到的是“da”音。明明播放的是“ba”音,为什么几乎所有的受试者听到的都是“da”音呢?显然这是配音与嘴型的不匹配造成的,更确切的说,这是由于视觉和听觉的共同作用,创造了原本不存在的第三种声音——“da”音,这就是麦格克效应。
麦格克效应表明:当视觉接收到的信息和听觉接收到的信息不一致时,视觉信息的介入会影响听觉信息的表达,致使人听到错误的第三种声音。
如果反过来呢?视频中的人的嘴唇发“ba”音,但是配的是“ga”音,结果是大概有54%的受试者听到了“gabga”或“bagba”音,体现的麦格克效应也很明显。而在所有实验中,当视听的信息相匹配时,受试者的听力准确率高达99%,这个对比足以证明当视听相矛盾时,视觉信息影响了听觉信息表达的可靠性。
什么导致了麦格克效应?
那么,麦格克效应是什么引起的呢?至今还没有权威的科学解释,但科学家们也提出了几种假设。
1976年,美国康奈尔大学的卡廷教授提出了“声学平均假设”。卡廷教授指出,将“ba”音和“ga”音的相关声学值取平均后,结果近似于“da”音的声学值。但受试者并没有听到“ga”音只是看到了“ga”音的嘴唇活动。也就是说,“ga”音是一种视觉信息而不是听觉信息,不会存在声学值。还有一点,根据声学平均假说,第二次受试者看到“ga”听到“ba”应该和第一次看到“ba”听到“ga”的效果应该是一样的,但受试者却听到的是“gabga”或“bagba”音。所以声学平均假设并不具有说服力。
麦格克本人则提出了“共同特征说”,认为之所以产生第三种声音,是因为视觉和听觉接收的两种声音具有一些共同特征:例如看到的“ga”和“da”的唇部动作存在相似性,而听到的“ba”与“da”的声波波形有一些共同特征。在视觉和听觉两通道的共同作用下,产生了“da”音。以上情况是视觉通道占据主导地位,使得第三种声音不再包含听觉声道接收的声音。
而在受试者看到“ba”听到“ga”的情况下,却没有第三种信息与之有关联,所以产生的第三种声音在听觉与视觉之间摇摆,变成了“gabga”或“bagba”。共同特征说可以解释麦格克效应,但是无法对第三种声音进行预测,其意义具有一定局限性。
而麦克唐纳借鉴前人的假设,提出了具有预测意义的“发音方式—部位假说”。发音方式—部位假说认为,人们根据眼睛判断发音部位(例如发出双唇音、唇齿音或舌根音等的部位),根据耳朵判断发音方法(例如发出浊音、清音或鼻音等的方法)。当两者矛盾时,发音部位和发音方法的结合,会产生第三种声音。一般情况下,视觉往往占据更大的优势,这就是麦格克效应产生的原因。
为什么我们感觉不到?
嘴型和声音不一致,就会使我们听错,在日常生活中这件事情应该较常发生,但是为什么我们好像从来没有感觉到呢?有趣的是,科学家指出,麦格克效应在中国人中出现的几率比较低。因为出于礼貌,中国人说话一般不会观察直视对方的脸,也就不会观察对方的嘴唇变化。而在面部表情比较丰富,喜欢直视对方的外国人的交流当中,麦格克效应相对会明显一些。
除此之外,汉语本身具有区别于西方语言的语言特点——汉语作为一门声调语言,主要是通过听觉通道的信息来分辨声音而不依赖于视觉信息,所以中国人受到麦格克效应的影响较小。而以英语为母语的国家受到麦格克效应的影响最大,这是因为用英语交流的人使用了大量的面部表情来表达感情。
麦格克效应受到什么因素的影响呢?除了交流的语言类型,交流的习惯外,如果视觉或者听力受损,麦格克效应也会减弱。科学研究表明,存在听力障碍、视力障碍、言语感知障碍的人发生麦格克效应的几率很低。从另一方面,我们可以通过测试一个人出现麦格克效应的情况,判断其是否存在视觉或者听觉障碍。
目前麦格克效应的原因还没有得到证实,其研究还在继续。等到谜底揭开的那一天,相信我们对于人类视听共同作用机制的理解,又会再上一层楼。