1.   引言

语言中词汇意义的编码遵循任意性还是象似性的原则？这个问题受到了国内外语言学界的长期关注和争论。早在古希腊时期，哲学家们就已经开始思考物体与其名称之间到底有着自然的还是约定俗成的联系——柏拉图对话录《克拉底鲁篇》（Cratylus）记录了赫谟根尼、克拉底鲁和苏格拉底有关命名起源的讨论。奠定语言任意性假设的索绪尔指出“任意性是语言符号的首要特征”，并认为象似性只是语言当中的边缘现象，仅存在于语言中极小一部分的象声词当中。从20世纪初到60年代，对任意性假设的支持超过了象似性；但自20世纪60年代之后，语言中的象似性特征逐渐得到认可，并与任意性假说形成了相持的局面（王寅 2001）。在国内外语界，许国璋（1988）首先挑战任意性假说，奠定了国内象似性研究的基础。随后，许多学者也对语言的象似性进行了辩证讨论，主张象似性与任意性在语言中虽然对立但是并存，两者皆是语言符号的重要特征（沈家煊 1993；杜文礼 1996；王寅 1999；胡壮麟 1999；王德春 2001；朱永生 2002；陆丙甫、郭中 2005）。

对象似性的承认拓展并加深了对于语言进化和语言加工的认识，同时也对语言在外语教学、疾病预测与治疗、人工智能等方面的应用有着重要启发（Fuks 2022；Hodge & Ferrara 2022；Li & Jiang 2022；Imai & Akita 2023；Sidhu et al. 2023）。在语言进化过程中，为了使沟通更加高效，早期人类需要从基于功能指称和躯体信号的沟通系统过渡至基于概念指称的信息传递系统。在基于概念指称的交流系统中，对话双方可以用抽象的语言符号来指代时空上遥不可及的对象（即语言的移位性）。象似性帮助早期人类模仿当前不存在的事物，在现实指称对象和大脑的抽象表征之间架起了桥梁，从而进一步促进概念指称系统的发展（Perniss & Vigliocco 2014）。此外，计算建模研究的结果也发现象似性使得早期人类能够更准确地传递关于他们周围世界的信息，支持了象似性在语言进化中对于沟通效率的贡献（Bakker et al. 2015）。同时，基于语音象似性促进单词学习的研究发现，象似性对于早期人类的语言习得意义重大（Perlman & Lupyan 2018）。

象似性不仅为人类的语言进化机制提供了新思路，也拓展了语言加工理论。首先，关于语言和其他认知过程之间关系的理论，传统的语言观认为语言是一个抽象的符号系统，与感知、行为、推理等其他高级认知过程相分离。而象似性则挑战了“语言系统完全独立于其他认知或感觉功能”这一传统语言观。通过将抽象语言符号与人类对于现实世界的感知相联系，象似性的存在支持了具身认知的观点，即语言使用者通过模拟相关的感觉运动经验来进行语言加工（Zwaan & Yaxley 2003；王寅 2009；Perniss et al. 2010；Louwerse & Jeuniaux 2010）。其次，关于语言系统内部各子系统之间关联的理论，象似性也挑战了那些支持“语言子系统分离”的理论 ¹。一些研究已经发现，语音象似性能够促进语言加工（Sidhu et al. 2020；Vigliocco et al. 2020）。承认语言象似性的存在挑战了语音和语义的分离加工假设，也挑战了以往词汇识别模型中语音和语义的连接关系，认为语音与语义加工过程之间存在密切联系。

象似性将语言符号与多种感觉经验联系起来，该现象对语言加工理论有重要启发，但其背后的心理加工机制目前尚不明确，特别是在探讨语言中的听觉信息如何在心理层面映射到其他感官体验（即语音象似性）方面，这一问题尤其值得深入研究。本文主要关注词汇中的语音象似性，并结合当前语音象似性加工的已有结论，以期进一步拓展当前有关汉语语音象似性心理加工机制的了解（词汇通达、跨模态映射机制等）。利用语音象似性建立词音到词义之间直接联系的词语被统称为状貌词。状貌词的英文术语为“ideophone”，在一些文献中也被称为“mimetics”或“expressives”。Dingemanse（2012）将“ideophone”定义为“用于描写感官意象的有标记词汇”。状貌词的读音可以模拟自然界中的声音、形状、颜色、气味、动作等多个模态的意义，具有时程性、生动性和动态性（李恒 2019；江荻 2021；李春艳 2021）。由此可以看出，状貌词不仅包含了拟声词（以音拟音），同时也与前人研究中所提及的拟态词（以音拟态）存在概念上的重叠（张汉英 1999；张婷 2007）。

本文主要基于以往有关状貌词加工的文献，从三个方面探讨词汇中语音象似性加工心理机制的前沿问题。第一部分探讨语音象似性对于词汇加工（特别是词汇语义通达）的作用，以期揭示语音象似性在语言理解（解码）过程中的特殊作用。第二部分梳理解码过程中语音象似性背后的跨模态映射的神经加工机制，以讨论神经机制解码过程的模态一般性和特异性。语音可以象征多种模态的特征，例如声音、气味、动作等；模态一般性的神经机制指大脑中存在一个加工中枢以处理语音到多类模态特征的象似关系，而模态特异性的神经机制指大脑加工状貌词时会依赖语音所象似的不同模态特征而激活不同的脑区。基于前两个部分对于语音象似性解码的研究回顾，本文在第三部分将关注点从解码转向编码，并将语音所象似的不同模态特征区分为客体相关与事件相关，进一步分析语音象似性在词汇的客体意义编码和事件意义编码上起到的作用及其异同。最后，文章基于前三部分的讨论提出未来研究关于语音象似性加工机制的展望。

2.   状貌词语音象似性解码的特异性

语言解码涉及从语言输入中提取意义的过程。以往有关状貌词语音象似性的研究大多使用理解任务，将其与任意性词汇作对比，以探讨语音象似性在解码过程中的特殊作用。这些研究表明，语音象似性可以促进词义通达和语言习得，但语音象似性对词汇加工的作用也受到任务和词汇呈现模态的影响。

首先，大部分研究认为，语音象似性会促进词汇加工，尤其是在词汇语义通达方面。相关研究将EEG技术与词汇判断任务（lexical decision task）、语义判断任务 （semantic decision task） 或漫画阅读任务结合，以考察状貌词语音象似性解码加工的特异性。在语言理解的脑电研究中，一般认为N400成分能够反映语言符号中语义信息的扩散激活（Kutas & Federmeier 2011），它是一个负向的ERP成分，峰值通常于语言刺激呈现后的400ms左右出现在中央和顶区电极。该成分的幅度高低与语义匹配程度以及语义激活的容易程度相关，较大N400波幅反映语义处理过程中的努力程度增加，而较小N400波幅则反映提取语义信息相对容易（Kutas & Hillyard 1984）。Peeters（2016）在听觉词汇判断任务中发现，与没有象似性的普通词汇相比（例如，居住“bewonen”），荷兰母语被试听到拟声词时（例如，聊天“babbelen”）表现出更小的N400。这体现了象似性带来的加工优势，即象似性促进了拟声词的语义提取。与此相类，Vigliocco等（2020）利用语义判断任务对比了三组英语单词（拟声词、与声音相关的任意性词汇、其它任意性词汇） ²，要求英语母语者判断所听到的目标词是否与先前视觉呈现的提示词语义相关。结果显示，当提示词与目标词语义不相关时，拟声词相较其它两组词汇引发了更大的N400。值得注意的是，Peeters（2016）使用纯听觉任务，而Vigliocco等（2020）使用视觉提示词与听觉目标词结合的任务。后者未在词类上发现与Peeters（2016）一致的词类主效应，这可能与任务中所涉及的感觉模态切换有关。Vigliocco等（2020）的结果说明与其他两组词相比，接在不相关提示词之后的拟声词其语义加工更加困难，即象似性词汇的语义激活程度更高，从而使得语义不相关现象更为凸显。Peeters（2016）和Vigliocco等（2020）的结果都支持了语音象似性对于语义提取的促进作用。

上述两个研究关注语音象似性对于语义加工的影响，而Manfredi等（2017）的研究则关注语境对于语音象似性效应的调节作用。该研究将符合语境的拟声词（例如：用“Pow!”对应撞击场景）、与拟声词匹配且同样符合语境的描述性词语（例如：用“Impact!”对应撞击场景）或不符合语境的拟声词（例如：用“Smooch!”对应撞击场景）放在漫画阅读任务中进行对比，结果发现在内侧前额叶和外侧枕叶区域的电极位置上，描述性词语比拟声词引起更大的N400。同时，与语境不符的拟声词也比符合语境的拟声词引发更大N400。在漫画当中，拟声词被视为一种典型特征，其预期性高于描述性词汇。该研究进一步探究了语音象似性效应如何受到语境调节。上述脑电结果较为一致地说明语音象似性对词汇语义提取的促进作用，且该效应也会受到语境的调节。部分行为实验的发现也支持语音象似性对于词义通达的促进作用。例如，Sidhu等（2020）在视觉词汇判断任务（要求被试判断视觉词汇的真假）中发现，当词汇语音象似性评分升高时，被试的判断反应更快且更准确，进一步支持语音象似性有助于词汇加工。

虽然上述结果支持语音象似性有助于词汇加工，尤其是词义通达，但也有少数研究并未发现状貌词与任意词在典型N400成分上的差异（Egashira et al. 2015；Lockwood & Tuomainen 2015） ³。同时，部分研究发现状貌词较任意词会引发更大的晚期脑电成分 ⁴，且两类词在反应时和准确率上没有显著差异（Peeters 2016；Lockwood & Tuomainen 2015；Vigliocco et al. 2020），甚至状貌词在特定语义任务中（如判断词语是抽象词还是具体词）准确率更低（Lupyan & Winter 2018）。例如，Peeters（2016）虽然在听觉词汇判断任务中发现，拟声词比任意性词汇引发更小的N400，但拟声词比任意词引发更大的晚期正波，且两类词在反应时和正确率上却没有显著差异。Hashimoto等（2006）的核磁研究显示，在听觉任务当中，拟声词的加工不仅涉及处理语言声音的大脑区域，也涉及处理非语言声音（动物叫声）加工的大脑区域。因此，这种由语音象似性导致的双重属性（即拟声词被同时加工为语言刺激和环境声音），很可能会干扰被试对于拟声词真假的判断。Peeters（2016）研究中两类词在晚期正波上的差异也可以从侧面反映拟声词后词汇加工难度更大，从而抵消了早期词义通达阶段的促进效果，最终使得反应时在两组词之间没有显著差异。类似地，Vigliocco等（2020）发现语义判断任务下三类词 ⁵在反应时与正确率上也无显著差异。因此，Sidhu等（2020）在视觉词汇判断任务中不一致的行为结果模式可以得到解释：即听觉模态呈现的方式突出了拟声词的双重属性，从而使得拟声词和任意词在听觉词汇判断任务中没有行为差异。除此之外，句子阅读任务中状貌词相较任意性词汇也引起更大的晚期正波（400 ms~800 ms）（Lockwood & Tuomainen 2015）。这可能说明将状貌词整合进句子的难度更高，也进一步体现了状貌词与任意词之间的权衡表现：状貌词在句子中生动性相对更高，但是整合难度也相对更大。

有前人研究结合词汇识别模型来解释语音象似性为什么能促进语义提取。联结主义的三角模型（Seidenberg & McClelland 1989；Harm & Seidenberg 2004）包括三个组成部分：词义、词形和词音。在这些模型中，视觉词汇的意义可以从两条途径获得。第一条是直接路径，即由词形直接通达词义；第二条是间接路径，即由词形经由词音再间接通达词语的意义。状貌词对词义通达有促进作用，很可能是由于词音到词义之间的连接比任意性词汇更加直接。这一解释也假设视觉词汇的语义通达会由词音中介。虽然大部分研究认为语音中介的作用在拼音文字当中是存在的（Van Orden et al. 1988；Perfetti & Bell 1991；Sidhu et al. 2020；Vigliocco 2020），但有关汉语的研究则提出汉字的阅读不一定需要经由语音，而是可以通过字形直接通达语义（Zhou & Marslen-Wilson 2000；周晓林等 2000）。因此，汉语状貌词的语义通达情况值得进一步考察。

除了上述直接反映状貌词语义加工的实验，语音象似性对于语义加工的促进作用也侧面反映在语言习得方面，即状貌词中语音与语义的直接映射使得其更容易习得。Motamedi等（2021）发现在向14~54个月儿童介绍陌生话题或概念时，家长会更高频地使用拟声词而非任意性词汇。儿童年龄越小，家长使用拟声形式的比例越高。此研究表明在自然语言环境中，拟声词能对儿童的语言习得起到帮助；而声音象似自展假说（Sound Symbolism Bootstrapping Hypothesis）认为，对于声音象似性的敏感程度会随着语言发展的阶段而变化（Imai & Kita 2014），即拟声词的加工优势在儿童语言发展初期更为明显，但该优势会随着儿童语言环境的改变而减弱。Manfredi等（2021）通过词图匹配任务进一步佐证了这一观点。该研究对比了三组不同年龄阶段的被试，他们需要在观察图片的同时接受听觉词汇刺激。研究结果发现年龄段和词汇类型会调节词图匹配效应（词图匹配比不匹配条件N400更小）：拟声词上的词图匹配效应出现在16~21月的儿童和成人被试中，而普通名词上效应出现在24~31月的儿童与成人群体中。这说明随着语言发展，拟声词在儿童被试中加工优势减弱；但成年后，拟声词似乎能够再次成为心理词典中的重要部分。该研究表明，拟声词的语义加工特点可能会随着年龄产生变化。

以上研究表明，在单独呈现词汇时，语音象似性能够促进词语的语义提取，并且该效应受到语境调节。然而，语音象似性对于词汇识别和语义判断任务的作用可能会受到词汇呈现模态和任务要求的影响，并且当状貌词被放在完整句子之中时整合难度可能更大。此外，语音象似性也能够促进语言习得，并且语音象似性词汇的语义加工方式会随着年龄产生阶段性变化。

3.   状貌词语音象似性解码的跨模态映射神经机制

上文提到，语音象似性对于词汇加工的促进作用可能源于语义提取过程中的语音中介通道。除此之外，该现象也可能归因于状貌词加工时额外的跨模态映射加工。前人主要通过功能磁共振成像（fMRI）技术来研究状貌词的跨模态映射机制，部分基于反应时、准确率或行为评分的研究也可为跨模态映射加工提供佐证。

状貌词利用词音模拟多种模态的特征，对于所有的状貌词来说，词音和词义之间都具有象似性关系，这可能涉及一个统一的象似性加工中枢，即语音象似性的跨模态映射神经机制是模态一般性的；但根据词音所模拟的模态（即词汇的象似模态）不同，状貌词也可以被区分不同类型 ⁶，所以状貌词加工中涉及的跨模态映射机制也可能会由于状貌词所象似的模态特征不同而产生差异，即语音象似性的跨模态映射神经机制可能是模态特异性的。

一些研究认为，大脑在处理状貌词时激活的区域会根据状貌词所象似的模态特征变化而有所不同。例如，Osaka等人针对日语状貌词做了一系列fMRI研究（Osaka et al. 2003；Osaka & Osaka 2005；Osaka 2011； Osaka 2009；Osaka & Osaka 2009 ；Osaka et al. 2004） ⁷。这些研究都发现，与假词相比，当被试听到状貌词时，大脑中相关的感觉皮层区域会被激活。比如，拟笑声词激活了枕下回附近的纹外视皮层和额叶上回的运动前区（Osaka et al. 2003），而拟疼痛词激活了前扣带皮层（Osaka et al. 2004）。这些研究固然有一定意义，但其局限性在于将状貌词和假词进行对比，无法突出状貌词在加工上的特性，因为具有任意性的词汇也会激活大脑皮层相关的感觉区域（Zwaan 2004）。Hashimoto等（2006）改善了这一不足，对比了日语拟声词（模拟动物叫声）、名词、动物叫声的脑区激活差异。该研究让被试进行声音分类任务（区分鸟类相关/其它动物相关的词语），并发现与名词和动物叫声相比，拟声词在右中颞上沟表现出更强的激活作用。除此之外，拟声词的激活区域同时与名词（左侧颞上前回）和动物声音（双侧颞上沟和左侧额下回）的激活区域重叠。这说明拟声词的加工不仅涉及处理语言声音的大脑区域，同时也涉及加工非语言声音（即拟声词所模拟的模态）的大脑区域。Aryani等（2019）则将象似性的研究延申至普通名词。他们通过整词评分首先计算词义唤起度，然后根据词汇的语音属性计算出亚词汇语音唤起度，并将词义唤起度和语音唤起度一致（例如都高或都低）的名词归类为“象似性词汇”，而不一致的名词则为“非象似性词汇”。在听到词汇时，情绪象似性词语比非情绪象似性词语在被试的左侧杏仁核引发了更强的活动。功能连接性分析还表明，象似性条件和两个中枢的交互作用会调节杏仁核的活动。这两个中枢分别是负责处理词汇语音的左侧颞上回和负责处理词汇意义的左侧额下回。该研究在杏仁核（主要负责情绪加工的脑区，与情绪的唤起度加工有关）上的发现进一步说明大脑在处理词汇时激活的皮层下核团特异于词汇所象似的模态。

此外，一些学者还认为大脑中应该存在一个专门处理跨模态映射的加工中枢，这个中枢可能会加工多类语音象似关系。Kanero等（2014）在听觉词语和视频的匹配实验中利用拟动作词和拟形状词作为材料，并发现与任意性词汇相比两类词都导致右后颞上沟更大的激活，表明该脑区可能是模态一般性的语音象似性加工中枢。除颞叶皮层以外，其他研究也支持顶叶皮层（左上顶叶与顶内沟等）在多类语音象似关系加工中的重要作用（Revil et al. 2014；Walsh 2003）。此外，近期一项多维度研究（Sidhu et al. 2022）表明， 25 类语音象似性关联可以按四个更高阶的因素进行降维与分组：效价、唤起度、支配度和新颖性。这也部分支持了跨模态映射的加工中枢的存在，即所有共享同一个特征的跨模态映射都可能依赖于与该特征密切相关的大脑加工网络。

在上述研究的基础上，部分行为研究也为语音象似性背后的跨模态映射机制提供证据。例如，Meteyard等（2015）调查了13名大脑左半球中风的失语症患者，结果发现，相较于任意性词汇，失语症患者在朗读和听觉词汇判断任务中能更准确地识别出状貌词。此研究显示象似性有助于失语症患者的口语词汇处理，这也许得益于状貌词额外的跨模态映射网络，同时也表明象似性词汇对语言处理网络的神经损伤可能更具免疫力。此外，Winter等（2017）让英语母语者评定了3001个英语单词的象似性，结果显示语音象似性更高的词汇会引发更强烈的感官体验（视觉、听觉、触觉、味觉和嗅觉）。上述研究从特殊群体和行为角度反映了在加工语音象似性词汇时，语义表征和模态特异性特征可能存在额外联系。

4.   状貌词语音象似性编码词汇客体意义与事件意义

语音象似性不仅在词汇加工方面具有特殊作用，同时在语义特征的编码上体现丰富的功能。语音可以象征不同模态的特征，例如形状、颜色、动作等。这些特征可以被分为客体相关特征和事件相关特征。具体来说，语音象似性既可以编码客体也可以编码事件，但其对于两者的编码能力存在差异。客体或物体（entity）是由物质构成、占有一定空间的个体。表物体的词语（如名词）其语法特征与空间特征紧密联系，物体具有空间性，没有时间性。对客体的识别与处理侧重于单个对象本身的属性和特征，例如大小、颜色或形状。而事件（event）是围绕某物体发生的事情。事件具有动作性、时间性。事件加工侧重处理客体与其他概念之间的关系，常涉及动词以及其他能描述事件的词语（Hagoort & Levinson 2014）。客体和事件之间的主要差别在于事件的核心是动作，而对于客体的加工并不涉及与动作特征相关的处理。

语音象似性既能帮助儿童更有效地建立起词汇与所指实体之间的联系，也可以帮助他们学习事件意义（Imai & Kita 2014）。例如，Miyazaki等（2013）令14个月大的日语母语儿童进行词汇学习，结果发现当声音与物体属性之间存在象似性关系时，声音象似有助于婴幼儿将语音与所指事物联系起来。除此之外，语音象似性还能够帮助儿童学习事件意义。词汇习得研究一般认为，幼儿对于名词的习得早于动词。因为名词所指称的对象更为明确，而动词的意义总是包含在复杂的场景中，其意义难以被分离出来（Gentner 1982）。Imai等（2008）为3岁的日语母语儿童设计了一套具有声音象似联系的拟动作假词（这些词语都利用词音来模拟动作的某些特点），并将其和没有声音象似关系的普通动词放在一起教给儿童。结果显示，儿童在拟动作词上的学习效果比普通动词更好。上述研究表明，声音象似确实有助于婴幼儿建立词汇表征，并且也能够帮助儿童更好地掌握抽象事件的含义。

虽然声音象似既可以帮助儿童学习事件意义，也能够帮助其更有效地建立起词汇与所指客体之间的联系，但其在编码客体和事件时存在差异。第一方面是语音象似词汇与事件概念更相关。如上所述，事件指的是动作以及参与该动作的实体。在表达事件时，动词是事件的核心，因为它不仅决定事件的核心动作，也会规定与动作参与者（论元）相关的语义和句法信息。拟声词可以看作是一种特殊的事件载体词，因为声音事件当中的声音来源和动作发出者往往是同一对象。例如，阚兴礼（2002）根据动词与拟声词的语义关系，将动词分成了五大类 ⁸。此分类进一步说明了拟声词和动词的紧密联系，尤其是发声动词（表示人或动物利用发声器官产生声音）、联声动词（表示能够产生较强声音的动作）、 绘声动词（表示不由发声器官产生声音）。此外，李镜儿（2006）对汉语拟声词的句法特点的总结也说明了这一点。汉语拟声词的五类句法功能都体现其对于事件意义的编码（独立成句、句子独立成分、状语、谓语、补语）。相比之下，汉语拟声词对于客体意义的编码情况更少见，拟声词丰富且常见的句法角色大部分都为编码事件意义而服务。除句法功能外，汉语拟声词的格律形式也能够编码事件特点，丰竞（2000）指出，几乎所有“AB”式的双音节拟声词都表示的是暂时性的、一次性的动作；而 “ABAB”式拟声词则是用整体的重叠强调节奏，更具有动态性；相比之下，“AABB”或 “ABB”“AAB”叠音式更突出事件的持续状态，动态性弱于“ABAB”式。不仅汉语状貌词具有丰富的事件特征，对日语状貌词的研究也发现，日语中大量的模仿在动作方式、身体感觉方式和物体的某些属性（如纹理）上做出了细微的区分，但很少有状貌词指称物体（Akita 2009）。对于动词数量有限的日语来说，大量的状貌词可以帮助区分动作状态之间的区别（徐一平等 2010）。拟声词不仅与动词关联紧密，过往汉语研究也一致认为，拟声词还具有丰富的修辞和语用效果，可以更加生动形象地对事件进行描绘（李镜儿 2006；余哲 2010；赵爱武 2013）。首先，拟声词是对自然界中声音的直接模拟，可以直观地通过语言形式描写事件本身，并且加强语言作品的真实感。其次，拟声词具有强烈的情感色彩，能够引发交际双方的情感联想，从而使得交流更加生动。第三，在拟声词增强语言表达效果的基础上，说话人也可以利用语音的象似性更好地实现话语的交际功能（卢卫中 2021）。

语音象似性在编码客体和事件时的第二大差异体现在事件相关词和客体相关词的语音象似性可能不同。一些语言当中（例如日语、英语），事件相关词语的语音象似程度更高。根据Akita （2009）的分析，日语中模拟声音的状貌词（即表示狗叫的“wan-wan”）比模拟动作 （例如，连续不断“Doshi-Doshi”）和模拟物体属性（例如，光滑的“tsuru-tsuru”）的两类状貌词象似程度更高，而这两类又高于模拟精神状态和情感的状貌词（例如，喜不自禁“Uki-Uki”）。另外，Winter等（2023）对14000个英语单词进行了语音象似性的评定 ⁹，并发现除了感叹词之外，英语当中的动词语音象似性最高，其次才是形容词和名词。在西班牙语当中情况则不同：Hinojosa等（2021）发现西班牙语中动词和名词的语音象似性评分没有显著差异。上述结果说明，在不同语言内部，事件相关词和客体相关词的语音象似性程度可能是不同的。

关于汉语拟声词的研究已经表明，拟声词与事件当中的动作编码息息相关，并且比动词更具有生动性，可以突出语言的修辞和语用效果。而在语言内容之外，嗓音韵律也可以用来编码事件相关的属性，语言内容和嗓音韵律编码事件属性背后机制的异同也值得探究。近年有一系列关于活力形式的研究（Di Cesare et al. 2022；Di Cesare et al. 2021；Lombardi et al. 2021；Rizzolatti et al. 2021；Di Cesare et al. 2017）。活力形式主要用于描述事件中动作的执行风格（粗鲁、中性、温和），不同的活力形式会在动作的路径、力度（动作性）、速度、加速度（时间性）等运动学参数上有不同表现。活力形式主要编码事件特征而非客体特征，因为活力形式主要由事件核心的动作所体现。活力形式的表征可以是多模态的（视觉、听觉、触觉），从听觉角度而言，嗓音当中基频、音强、语速等声学参数的不同组合也能够实现不同的活力形式。

综上所述，状貌词语音象似性可以同时编码词汇的客体意义与事件意义，并促进对于这两类意义的习得。但语音象似词汇与事件概念更相关，并且事件相关词的语音象似性可能比客体相关词更高。以上证据说明，相较于客体意义的编码，语音象似性在事件意义编码上可能具有更重要的作用。

5.   状貌词解码的认知加工模型

综合上述梳理，状貌词特有的语音象似性使其在语言交流的加工机制具有独特性。本文将状貌词的特点整合到词汇识别的三角模型当中（Seidenberg & McClelland 1989；Harm & Seidenberg 2004），提出状貌词解码的认知加工模型（见下页图1）。联结主义的三角模型包含词义、词形和词音三个组成部分。该类模型认为，视觉词汇的意义可以从直接路径（词形直接通达词义）或间接路径（词形经由词音再通达词义）获得。在三角模型的基础上，状貌词解码的认知加工模型进一步在词汇识别的三角模型当中区分任意性词汇与状貌词，并额外考虑副语言韵律信息对于加工的影响。状貌词解码的认知加工假设与任意性词汇不同，对于状貌词来说，语音象似性使得词汇语音和语义之间的连接更为直接，从而促进听觉模态下状貌词的语义通达 ¹⁰。同时，模型也假设，当视觉词汇输入时，词形到词义的通达也可能经由词音中介，从而促进阅读任务当中状貌词的语义通达。前人关于任意性词汇的研究表明该中介通路在汉语中可能并不存在（Zhou & Marslen-Wilson 2000；周晓林等 2000），但汉语状貌词的语音象似性可能会促进视觉词汇任务中对于语音的依赖程度。值得注意的是，Haslett & Cai（2023）近期的综述讨论了语音和语义之间的系统性映射在自然语言加工中的作用。系统性处于任意性与象似性之间，指语义相关的词汇共享语音或正字法特征（如英语中大部分以“-y”结尾的词语都为形容词）。有关系统性的讨论提示我们，语音到语义的加工路径不仅存在象似性和任意性这两条对立路径，还可能有额外的系统性路径，使得语音和语义关系形成一个从严格任意到严格象似的连续统 ¹¹（石锋等 2010；石锋 2019）。

图  1  状貌词解码的认知加工模型

下载: 全尺寸图片 幻灯片

此外，由于状貌词有很强的事件意义编码能力，在加工状貌词时，语言解码者也将通过动作推理激活状貌词相关的事件特征（如动作的执行力度、完成路径、速度、持续时间等）。对于汉语而言，事件特征的解码不仅依赖于词汇语义，同时也基于词汇的格律形式（丰竞 2000），对于汉语状貌词事件特征的不同解码方式很可能依赖不同的心理加工机制。并且，语言解码者也可通过修辞推理激活状貌词强烈的情感属性，从而体验状貌词丰富的语用修辞效果。对状貌词事件特征和情感特征的解码很可能是语音象似性导致的额外加工过程。

最后，听觉信息输入时，听话人不仅能够解码语流当中的语言信息，同时也可以解码嗓音当中的副语言韵律信息（蒋晓鸣 2020；Jiang & Pell 2015）。副语言韵律信息独立于语言信息出现，听话人在无法解码语义信息的假句子中也可以提取嗓音的韵律线索。通过嗓音的活力形式线索，听话人可以解码与状貌词相关的事件特征（Di Cesare et al. 2017；Di Cesare et al. 2021）；而通过嗓音当中的情感韵律线索，听话人也可以解码与状貌词相关的情感特征（Jiang et al. 2017；Jiang & Pell 2017）。听话人可以利用语言和韵律信息同时解码情感特征，过去对于两类信息冲突时的神经机制已有一定研究基础（Schirmer & Kotz 2006），但目前关于两类信息在事件特征方面的解码冲突研究较少。尤其对于汉语状貌词来说，由词汇导致的韵律事件特征不一致性既可能来自词义层面也可能来自词音格律层面，这两种情况背后的冲突消解机制也值得关注。

6.   小结与展望

以往大多数关于语音象似性的研究主要集中在假词上（如bouba-kiki效应），而对真词的语音象似性心理加工机制关注较少。本文对语音象似性在真词中的加工机制进行了讨论。首先，来自脑电与行为的证据共同说明语音象似性可以促进词汇语义通达，但其最终作用会受到呈现模态和任务要求的影响。其次，虽然语音象似性可以促进词汇事件意义和客体意义的习得，但语音象似性词汇具有更强的事件编码能力。并且在不同语言内部，客体相关词汇和事件相关词汇的语音象似程度也有所差异。最后，本文结合fMRI研究，讨论了大脑处理语音象似性时相关的跨模态映射机制，并提出语音象似性处理可能涉及语义表征和模态特异性特征加工网络的额外连接，也可能涉及一个专门处理跨模态映射的加工中枢。尽管本文对语音象似性的加工进行了较为全面与系统的讨论，仍有许多问题有待未来研究解决。

第一，前人研究认可语音中介通路对于拼音文字语义提取的重要作用，并且由此提出语音象似性的存在会促进状貌词中语音与语义的连接（Sidhu et al. 2020；Vigliocco 2020）。但目前尚未有实证研究探讨过语音象似性对于汉语状貌词加工的影响，同时也不清楚语音中介通路在汉语状貌词加工中起到的作用。未来研究可进一步探究汉语状貌词的语义加工特点，并在年龄范围更大的被试及多语被试身上考察语音象似性对词汇加工和外语教学的贡献。

第二，关于语音象似性背后的跨模态映射机制尚存争议。未来研究应考察日语和印欧语系以外的语料，将汉语内部的丰富的状貌词放在同一个任务下进行对照，进一步探究不同跨模态映射类型背后的认知神经机制上的异同。同时，近期基于大规模词汇评定数据的研究将语音象似性研究从典型的语音象似性词汇（状貌词）拓展到其他类型的真词（如普通名词、动词、形容词等）（Aryani et al. 2019；Conrad et al. 2022），这对推广语音象似性研究的结论具有重要启发。最后，未来研究应拓展状貌词对于特殊人群的应用途径，并进一步通过实证研究探索特殊人群与健康人群跨模态映射加工机制的异同。例如，多感官方法可以帮助聋人群体学习拟声词（Namatame et al. 2019）；而语音与感觉特征的映射关系也可以让盲人群体通过听觉模态的信息更好地感知视觉状貌词（Winter et al. 2017）。

第三，语音象似性编码事件意义，使得语言中的状貌词能更生动形象地描述事件或动作特征（李镜儿 2006；余哲 2010；赵爱武 2013；Dingemanse et al. 2015）。同时，嗓音韵律的活力形式也可以用于编码动作特征（Di Cesare et al. 2017；Di Cesare et al. 2021）。目前尚不清楚不同类型的事件载体对于嗓音活力形式的诱发情况，也不清楚语义载体与嗓音同时编码动作特征情况下听话人对其的加工特点。未来研究可以利用言语产出相关范式，让被试利用不同的事件载体产出言语，并记录其韵律特点。同时，也可以将不同语义载体编码和不同嗓音活力编码的言语事件放在同一个感知实验，进一步探究两种事件编码方式对于听话人言语感知的交互影响，从而推动构建基于语音象似性编码机制的、理解复杂事件意义的语言人工智能。此外，未来还应探索在汉语状貌词的听觉解码过程中，不同层面（词义、格律、韵律层面）的事件特征推理结果产生冲突时的冲突消解机制异同。