探索语言理解和音乐感知的内在机制
2022年11月01日 09:40 来源:《中国社会科学报》2022年11月1日第2520期 作者:高攀科 张晶晶 陈庆荣

  音乐和语言的起源与演化,是未来亟待解决的颇具挑战性的科学问题。目前,已有研究从预期角度对此进行了探讨。预期作为人类大脑的基本功能之一,在语言和音乐的交流过程中发挥着重要作用。研究发现,当使用语言或音乐进行交流时,人们能够对即将出现信息的具体内容以及何时出现该信息,产生特定的预期。现有研究分别考察了对于内容(如意义、句法等)和时间(如韵律或节奏、节拍等)的预期。但是,在语言和音乐加工过程中,两种预期往往是同时存在的。那么,两种预期如何共同影响即将出现的信息加工?研究者们通过不同的技术手段分别在语言和音乐中对其进行了探索。

  语言理解

  爱德华(Large Edward)提出的动态注意理论(dynamic attending theory),为时间结构如何影响即将输入信息的内容加工提供了理论依据。该理论认为,刺激的时间结构能够协调人们大脑神经振荡的周期性,从而产生时间预期,当即将出现的事件符合时间预期时将会促进对其内容的理解。已有研究以语言为材料,为该理论提供了实证依据。

  罗瑟米希(Kathrin Rothermich)通过操纵德语句子中强音节和弱音节的交替出现形成节奏预期,并考察了节奏预期对词汇语义加工的影响。结果发现,与节奏预期违反相比,当节奏预期合理时能够降低语义预期违反所诱发的N400波幅。这表明,节奏预期一致性能够降低由词汇语义预期违反所产生的认知成本。后续的fMRI研究进一步定位出,节奏预期一致性对语义理解的调节主要体现在左侧额颞语言网络。玛格尼(Cyrille Magne)等人通过调整法语句子中音节的时长对节奏规则预期进行操纵,同样发现句子节奏预期违反会阻碍对词汇语义的理解。

  后续研究还探讨了节奏预期对句法加工的影响。施密特-卡索(Maren Schmidt-Kassow)通过控制重读音节和非重度音节的连续性,操纵句子韵律模式的可预期性。结果发现,相比于句法预期违反,韵律预期违反在更早期的时间段诱发了负波(LAN)。这表明,对韵律结构的加工先于句法结构。此外,韵律结构和句法结构在晚期的整合阶段存在交互作用(P600)。这表明,对韵律模式的预期不仅影响早期对言语信息的分段,而且在晚期参与了对句法违反加工的再分析。

  不过,以上研究主要使用印欧语为实验材料。与印欧语系相比,汉语是一种声调语言,拥有独特的节奏模式。汉语的节奏规则表现为韵律单元的规律分布,即汉语中双音节韵律单元占比约74%,其余为单音节或三音节韵律单元。罗颖艺等人分别使用ERP和眼动技术发现,在汉语短语水平上节奏预期的违反会阻碍对语义的理解。李晓庆等人在汉语句子水平上发现,听者对于节奏规则的预期能够增加与早期声学感知加工相关感觉神经元的兴奋性以及降低晚期语义不一致整合加工所付出的认知代价,从而促进对即将出现词汇的语义加工。

  音乐感知

  和语言一样,音乐也是由一系列复杂而有意义的符号序列组织起来的,是人类重要的交流系统。其中,音高结构和时间结构是音乐的两种最重要的结构。音高结构和西方调性音乐的和声规则密切相关,而时间结构则主要包括节奏和节拍等。随着音乐的展开,听者能够基于音高结构产生对于内容的预期,基于时间结构产生对于时间的预期。在聆听音乐过程中,只有将音高结构和时间结构结合起来,才能形成连贯的音乐表征,进而理解音乐的意义。那么,这两个维度的预期如何共同影响即将出现的音乐事件的加工?

  一些理论模型对该问题进行了阐述。双成分模型认为,音高和时间结构对于音乐感知的影响是相互独立的;而音高/时间夹带理论则认为,二者之间存在相互作用。这两个理论分别得到一些实验证据的支持。比如,神经心理学的研究发现,一些音高加工受损的患者仍然能够处理音乐的时间特征,而另一些时间加工受损的患者则表现出一定的音高辨别能力。这种临床上的双分离现象表明,音高和时间两个维度信息的加工由不同的子系统负责。而另外一些认知实验发现,相比于不规则的节奏序列,在规则的节奏序列中对音高的判断准确率更高,而基于音高结构的句法合理性评分则显著更低。这表明,在音高结构和时间结构之间具有相互作用。基于以上两种相互矛盾的观点,佩雷茨(Isabelle Peretz)提出了多重加工阶段理论,认为音高和时间结构在早期相互独立加工,在晚期阶段存在交互作用。音乐结构的加工模式是否果真如此?如果是这样,两者何时独立加工?何时存在相互作用?这些问题都需要进一步的实证依据的支持。

  在相关研究中,我们使用高时间分辨率的ERP技术考察了音乐中的音高和时间维度如何共同影响即将出现音乐事件的加工。该研究选择由八个和弦组成的和弦序列作为音乐刺激。其中,最后一个和弦为目标和弦,先前的七个和弦为音乐背景。该研究在音高和时间维度上,对目标和弦与和弦背景之间的关系进行操纵。在音高维度上,目标和弦在和声上是符合预期或不符合预期的;在时间维度上,目标和弦按照先前语境所建立的时间规则,要么准时出现(符合预期条件),要么提前出现(非预期条件)。结果发现,相比于符合时间预期条件,与时间预期不一致的目标和弦诱发了波幅更大的MMN,和声上非预期的目标和弦诱发了波幅更大的早期ERAN和晚期N5效应。更为重要的是,时间维度和音高维度在晚期N5效应上存在交互作用,表现为符合时间预期时和声预期诱发N5效应,而不符合时间预期时则没有出现该效应。这表明,在晚期时间窗口上,对音高维度的预期受到时间维度预期的调节。此外,我们还在另外的研究中明确了音乐中音高和时间维度共同作用的模式与时间进程,即音乐的音高和时间维度在早期阶段独立加工,但在晚期加工阶段存在交互作用。该研究结果为多重加工阶段理论提供了重要的实验证据的支持,同时在音乐领域对动态注意理论提供了支持,即当出现的音乐事件符合听者对于时间维度的预期时,会促进对音高维度的加工。

  未来展望

  近年来,关于预期加工的研究进展迅速,并发现基于内容和时间的预期会交互影响语言和音乐的理解。这主要表现为当时间维度符合预期(时间)时会促进对非时间维度信息预期(内容)的加工。不过,在此基础上,仍有一些问题需要进一步探索。

  首先,上述研究无论是在语言理解还是音乐感知中,主要是通过背景信息对于新信息加工的影响来推测预期过程,是将关注点放在新信息出现之时或之后,而很少对预期阶段进行直接观察。后续研究可以进一步关注新信息呈现之前的加工阶段,以便更好揭示在语言和音乐理解过程中预激活阶段的内在机制。

  其次,语言和音乐均为时间的艺术,二者会随时间的展开产生相对应的内容和预期。当前研究分别从语言或音乐的角度,对不同维度的预期进行了探索。但很少有研究从对比的角度,对音乐和语言不同维度预期之间的相似性和差异性进行考察。未来研究可以更关注此视角,这对于理解人类交流的本质或存在重要意义。

  最后,对语言和音乐理解中预期性效应的应用研究,值得进一步关注。比如,以往研究发现,预期加工能够降低对话中的模糊性,减少记忆负荷,进而促进语言理解的效率。后续研究可以探讨在儿童学习语言或音乐过程中,如果教育者能多鼓励儿童发挥想象力,尝试以一种趣味性强的方式将不同时间尺度的信息相互结合与对比分析,进而对即将出现的刺激进行预测性推理,可能会比传统“死记硬背”式的教学具有更好的效果。

  (本文系江苏省社科基金项目“音乐学习促进语言韵律加工的认知和神经机制”(19YYC003)阶段性成果)

  (作者单位:中国科学院心理研究所、中国科学院大学心理学系;南京师范大学心理学院)

责任编辑:张晶
二维码图标2.jpg
重点推荐
最新文章
图  片
视  频

友情链接: 中国社会科学院官方网站 | 中国社会科学网

网站备案号:京公网安备11010502030146号 工信部:京ICP备11013869号

中国社会科学杂志社版权所有 未经允许不得转载使用

总编辑邮箱:zzszbj@126.com 本网联系方式:010-85886809 地址:北京市朝阳区光华路15号院1号楼11-12层 邮编:100026