多模态话语的社会符号学分析及意义构建

作者：宋娟 张艳红

来源：《学园》2013年第31期

        【摘 要】本文以Halliday的系统功能语言学上发展起来的视觉图像分析语法框架为理论基础，分析了湖南中医药大学新校徽的再现、互动和构成意义，从而指出其中的多种模态（如语言、图像、色彩等）之间相互作用与意义构建，探讨系统功能语言学理论分析视觉图像的可操作性和可行性，以期提高读者的多模态识读能力。

        【关键词】社会符号学 多模态话语 意义构建 校徽 多模态识读能力

        【中图分类号】H0-0 【文献标识码】A 【文章编号】1674-4810（2013）31-0003-03

        一 引言

        随着多媒体和互联网技术的飞速发展，话语不再以单模态的文本形式体现表意，更多的是以图像、颜色、声音和动作等多种模态出现来生成意义等。这种多模态话语使得人们之间的交际趋于多模态化和多媒体化的特点，并改变着人际交流方式和意义表达方式。而传统的只分析语言和以语言分析为核心的单模态分析方法，因其难以全面系统地解释意义的产生与交际，局限性日渐突显。因此，在人类进入社会符号学多模态化的新世纪，多模态话语分析的出现，为话语分析提供了新的视角，极大地丰富了话语分析的研究手段。

        近20多年来，语言学者以Halliday的系统功能语言学为基础，把对语言社会符号性的研究重心转移到图像、声音、动作等多模态的交际手段的研究。其中最具代表性的是 Kress& van Leeuwen所构建的视觉图像分析的语法框架。

        多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来，不仅可以看到语言系统在意义交换过程中所发挥的作用，而且可以看到诸如图像、音乐、颜色等其他符号系统在这个过程中所产生的效果。本文将以视觉图像分析语法框架为理论基础，对2013年新启用的湖南中医药大学校徽这一集图像、文字和颜色于一体的多模态话语文本进行社会符号学分析，尝试性地研究图像和语言等多种符号模态的社会功能和意义，各符号模态如何共同作用构成意义的手段，从而说明多模态解读对正确理解多模态话语含义和意义构建方面不可忽视的作用。

        二 多模态话语分析的理论基础

        1.多模态话语

        多模态话语是一种融合了多种交流模态（如声音、文字、形象等）来传递信息的语篇。李战子认为，多模态指的是除文本以外，还带有图像、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本。胡壮麟指出，多模态话语就是由表达意义的两个或两个以上的单模态所构成的话

        语。朱永生还提到了识别多模态话语的两个标准：一是看涉及的模态种类的多少，即视、听、嗅、触、味“五个模态”；二是看涉及符号系统的多少。

        Kress&van Leeuwen认为，语篇的多模态性是当今世界交际中使用的各种语篇的一个重要特征。在当今数字化的时代，各种交际模态在信息意义表征上日渐一致，因此，具有多技能的人应可同时进行和完成不同的交际形式，即具有良好的多模态识读能力。

        2.多模态话语分析

        多模态话语分析（Multimodal Discourse Analysis）是上世纪90年代发展并活跃于西方的一种新的话语分析方式。它以系统功能语言学理论为基础，是一种为融合多种交际模态（如声音、文字、图像等）的语篇组织传递信息，实现语篇元功能等多目的的手段和工具，其主要的分析方法是Halliday功能语言学的视觉图像分析的语法框架，尝试把系统功能语言学对于语言研究的方法应用到其他的一些符号资源（如面部表情、手势、图像、音乐等）的研究上，以克服传统上只注重语言系统和语义结构本身及其与社会文化和心理认知之间关系的局限性。多模态话语分析为语篇分析提供了多种模式和方法，也为语篇中各种意义资源的整合和其各项社会功能的构建提供了理论基础和实际指导意义。

        3.多模态话语的社会符号学分析理论

        语言是社会符号，包括语言在内的各种符号是各自而又相互作用的符号资源，因此，在分析语言特征的同时，还应注重声音、颜色、图像和动作等视觉、听觉和行为方面的符号模态在话语中的作用。系统功能语言学除了对各种语言语篇的分析外，还被应用到如视觉图像、声音、建筑设计、电子媒体和电影等语言以外的符号资源和多模态交际手段的研究。

        以系统功能语法中的三大元功能——概念功能、人际功能和语篇功能为参照，把图像也当成社会符号的前提下，Kress & van Leeuwen构建了由再现、互动和构成三大意义为核心内容的视觉图像分析的语法框架。其中再现功能对应于概念功能，包括叙事的再现和概念的再现，其中叙事的再现包括行为过程、反应过程以及言语和心理过程三类，概念的再现则相当于功能语法中所描述的关系过程和存在过程；互动功能对应于人际功能，涉及距离、接触、视点三要素和情态，三要素能够共同作用，创造出观看者和再现内容之间的复杂、微妙的关系，而情态在图像中的资源十分丰富，也是实现互动意义的重要组成部分；构成功能则对应于语篇功能，从信息值、取景和显著性三项资源进行分析，信息值是通过元素在构图中的放置实现的，取景指的是有无取景手段，显著性指的是元素吸引观看者注意力的不同程度。总之，Kress&van Leeuwen认为和语言一样，所谓的模态（视觉的、姿态的、动作的）是在社会使用过程中形成社会资源的模态，所以符号资源都具有社会意义。

        三 湖南中医药大学新校徽多模态话语的社会符号学分析

        多模态话语分析认为所有语篇总是多模态的，因此多模态话语分析方法是一套多目的的工具，包括新的思维方式和分析方法。2013年新启用的湖南中医药大学校徽集图像、文字和颜色于一体，是一个多模态文本，可进行社会符号学分析。

        1.校徽释义

        校徽外环为圆形图案，融入全球化概念，校徽上部自左而右环绕标准中英文校名全称，意在将中医药事业发展至全世界，外环上嵌入120个齿轮，既象征学校辉煌的历史进程和传承，也代表中国120急救电话，内环图案以湖南中医药大学标志性校门为设计主体，与书籍式底托相互衔接，简易通俗的表明教书育人的中医行业和学校属性，书本中间为一“中”字，由银针和书法阴阳组成，体现中医药大学的专业特征和深厚的文化底蕴、学术积淀，学校名称标准字体采用书法，更加体现学校的湖南特色和中医药领域的权威。校徽整体采用标准紫檀色，既传承中医中药基因，也代表中医药的发展、永恒，象征着湖南中医药大学热情洋溢的精神和活泼盎然的生机。

        2.校徽的社会符号学分析

        湖南中医药大学校徽图像由意象和文字组成。因此，可尝试从Kress & van Leeuwen提出的图像再现意义、图像互动意义和图像构成意义三个角度对该图像进行社会符号学的多模态话语分析，看该多模态图像语篇中的文字、图像以及颜色等各种符号模态如何结合并构建再现、互动和构成意义的。

        第一，图像的再现意义。图像作为一种符号模态，能再现自身符号系统以外的实体和这些实体之间的关系，这就是Kress&van Leeuwen对应于功能语法的概念意义提出的多模态话语的再现意义。他们在解释图像的再现意义时把图像区分为叙事的和概念两大类。其中叙事的再现包括行动过程、反应过程及言语和心理过程三类，表达的是展开的动作，事件、变化的过程和瞬间的空间安排。概念的再现是图像的类别、结构和意义，表达一种概括的、稳定的和没有时间的精华，可分为分类过程、分析过程和象征过程。湖南中医药大学校徽实际上是一种概念图像，下面看它是如何体现各种概念过程的。

        李战子认为，概念性图像的再现意义的分类过程通过分类关系将参与者联系起来，至少有一组参与者将对另一参与者扮演“从属”的角色，其中一个关键的视觉特点就是从属者之间的等同在视觉上是通过对称的构图实现的。在湖南中医药大学校徽图像的意象中，标准中英文校名全称左右对称，中间校门、书本和“中”字字符两相对等，而整个校徽是由三个外粗内细的标准圆环构成，这些参与者联系起来共同体现了湖南中医药大学校徽的整体面貌。

        在分析过程中参与者具有部分—整体的结构，参与者之一是承载者，即总体，参与者之二是任何数量的所拥有的特征，即部分。在图像中，部分和整体并不总是配以同样的凸显度。在湖南中医药大学校徽中，承载者即湖南中医药大学，是总体，中英文校名全称摆在凸显位置，是观看者关注的焦点；而参与者之二，部分，即校门建筑、书籍式底托、“中”字字符等，同时这些部分由大学中英文名称环绕，最外围又由三圆环包围，这样就突出了中医药大学的组成结构和整体框架，更清晰地展示了中医药大学的学术氛围。

        象征过程是关于参与者是什么或意味着什么。可以有两个参与者——其中一个的意味或身份在关系中已经确认，即承载者；另一个参与者表示意义或身份，即象征性属性。也可以只有一个参与者，即承载者。前一种叫做象征属性，后一种叫做象征暗示。在湖南中医药大学校徽中，标志性校门、“中”字字符、书籍式底托以及三圆环的外观结构都形成了一种象征：校门和书本外观结合，隐含行动过程的动作者，象征着中医药大学教书育人的中医行业和学校属性；“中”字字符由银针和书法阴阳组成，是一个象征过程中的承载者，象征中医药大学的中医专业特征和深厚的文化底蕴、学术积淀，外环的齿轮象征着中医药大学辉煌的历史进程与学术传承。

        第二，图像的互动意义。在多模态话语中，与功能语法的人际意义相对应的是互动意义。韩礼德认为“互动意义是关于图像的制作者、图像所表征的事物（包括人）和图像的观看者之间的关系，同时提示观看者对表征事物应持的态度。”在实现图像互动意义时，有四个要素：接触、社会距离、态度和情态，本文重点分析图像的情态要素。

        情态要素是互动意义的一个重要组成部分，它主要是指某种图面表达手段（色彩、再现的细节、深度、色调等）使用的程度，指我们关注的世界所做出的陈述的真实度和可信度。图像的情态以感官的编码倾向为出发点，可以分为高中低三类。Kress&van Leeuwen从色彩饱和度、色彩区分度、语境化、再现、深度、照明和亮度等八个视觉标记探讨了图像中情态的现实意义量值的高低。情态中的每一个方面都可以看作是一个尺度，把这尺度和“感官编码倾向”相互联系，强调的是感官的愉悦（或不愉悦）。湖南中医药大学校徽采用标准的紫檀色，其属于高饱和度色彩，代表着稳重、踏实、可依赖和永恒，有利于体现中医中药基因的传承，也代表中医药发展的稳重、踏实和永恒，给观看者一种安定、可靠的情感含义，产生对大学专业建设、教书育人、学科发展和职业前景的好感及安全感，具有高感官情态。

        第三，图像的构成意义。多模态话语的构图意义即对应于功能语法的语篇意义。构图意义包含信息值、取景和显著性三种资源。信息值是通过元素在构图中的放置实现的。任何特定的元素因其不同的位置具有不同的信息值，或“理想的”，或“真实的”。“理想的”指它是信息的理想化的或概括性的实质，因此它是信息的最显著的部分。“真实的”指更特定的信息，如细节等，或者说更实际的信息。湖南中医药大学的校徽中英文名称分别在图像空间的上下位置，说明了中文名称是概括性的实质，是信息的最显著的部分，是“理想的”，而英文名称是更特定或更实际的信息，是“真实的”，意味着在湖南中医药大学就读能实现学子人生的理想，继而实际地将中医药发展推向全世界，给全球人类带来希望。然而中医药大学的中英文名称相对于图像中间的其他元素又是边缘的，这也反映了边缘的概括性名称包括了中间的细节（校门、书本、“中”字字符），如此布局也体现了中医药大学各事物之间和谐融合的意境。显著性指的是元素吸引观看者注意力的不同程度，可通过被放置在前景或背景、相对尺寸、色调值的对比（或色彩）、鲜明度的不同等来实现，同时还受文化因素的影响。在中医药大学校徽中，“湖南中医药大学”七个字是采用标准字体书法，字体是繁写体粗体，一方面彰显学校的湖南特色和中医药领域的权威，另一方面是突出体现中医药这一中华瑰宝的传统性与独到性，同时英文名字全部由大写字母拼写，字体采用Times粗体，代表着湖南中医药大学对于校名使用的规范性。粗体齿轮外环和常规细线双圆环形成环环相扣的整体构图，增强了校徽的层次感，蕴含着中医特色的书本托起大学的标志性校门也表现出充分的立体感，吸引着观看者的注意力。总而言之，校徽内聚性、外拓性、向下放射性凝聚了湖南中医药大学提倡的“文明、求实、继承、创新”的校训精神和治学理念。

        四 结束语

        本文以视觉图像分析语法框架为理论依据，从社会符号学角度对湖南中医药大学校徽的再现、互动和构成意义进行了尝试性的分析，进而探讨了系统功能语言学理论对于分析图像的可行性和可操作性。

        参考文献

        [1]Halliday，M.A.K.& Hasan，R.Language，Context and Text：Aspects of Language in Social-semiotic Perspective[M].Geelong，Victoria：Deakin University Press，1985

        [2]Halliday，M.A.K.Language as Social Semiotic：A Social

        Interpretation of Language and Meaning[M].London：Arnold，1978

        [3]Halliday，M.A.K.An Introduction to Functional Grammar

        [M].London：Arnold，l994：256

        [4]Kress，G.&van Leewen，T.Reading Images：The Grammar

        of Visual Design[M].London：Routledge，1996：183；2006：59、117、148、149

        [5]Kress，G.& van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001：2、59

        [6]O’Toole，M. The Language of Displayed Art[M].London：Leicester University Press，1994

        [7]Martinee，R. Cohesion in Action[J].Semiotica，1998（1/2）：161～180

        [8]胡壮麟、董佳.意义的多模态构建——对一次PPT演示竞赛的语篇分析[J].外语电化教学，2006（3）：3～12

        [9]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007（1）

        [10]李战子.多模态话语的社会符号学分析[J].外语研究，2003（5）：1～8

        [11]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（5）：82～86

        〔责任编辑：肖薇〕