我国多模态话语研究综述

作者：张莉 孙来麟

来源：《教育教学论坛》2015年第45期

        摘要：随着现代信息技术的飞速发展，信息的传递方式由单一文本形式转化为多模态形式。我国多模态话语研究主要为理论探索、图文关系、多媒体语篇、教学应用及多模态语料库等领域。文章分析了我国多模态话语研究现状及存在的问题，以期对今后的研究有所启示。

        关键词：多模态;话语研究;综述

        中图分类号：G2.0 ; ; 文献标志码：A ; ; 文章编号：1674-9324（2015）45-0225-03

         一、引言

        自1952年美国语言学家Z.Harris提出话语分析（Discourse Analysis）理论以来，国内外学者立足于不同的角度提出了各种各样的话语分析理论和方法，并通过大量的案例研究，揭示了话语活动的内在规律与认知行为的内在关联（朱永生2003）。以往的话语分析研究主要聚焦话语篇章结构、语法规律、语句之间的关系，忽略了诸如图像、声音、色彩、动画、空间、符号等的表现形式。然而，随着信息技术的发展及多元文化的相互渗透，传统的话语研究已经不能满足人们的交际需要，多模态话语研究应用而生。国际语言学界于20世纪90年代兴起了多模态话语研究热潮，而我国相关研究起步较晚，最早由李战子（2003）将多模态话语分析引入国内。本文将对国内学者近年来公开发表的多模态话语方面的论文、论著进行梳理，总结所取得的研究成果并指出存在的不足，以期对以后的研究有所启示。

        二、多模态话语分析的理论基础

        Kress &Van Leeuwen（1996）指出多模态可以定义为参与交际的所有渠道和媒介，除了传统的语言符号，它还包括图像、颜色、音乐、技术等符号系统。多模态话语分析是建立在韩礼德的系统功能语言学理论基础之上的。根据系统功能语言学理论，语言具有三种元功能，即概念功能、人际功能、语篇功能。概念功能指的是语言能表达说话者的亲身经历和内心活动，人际功能指的是建立和保持社会关系，语篇功能指的是将前两种功能组成语篇的功能。而就多模态话语而言，其他语言符号也具有上述三种功能。系统功能语言学认为，语言是一种社会符号和意义潜势，语言以外的其他符号，诸如图像、声音、色彩、空间等也是意义的源泉。（胡壮麟2007）

        三、国内多模态话语研究成果综述

        我国多模态话语的研究始于2003年李战子首次引入多模态话语理论，提出多模态话语分析对于教学有重要意义。随后胡壮麟、朱永生、顾曰国、韦琴红等专家对于多模态话语进行了深入的研究，但其研究尚处于初级阶段。近年来，国内兴起了多模态话语研究热潮。

        1.调查数据。到目前为止，在“中国知网数据总库”中，以“多模态话语”为主题词，搜索到的这方面的论文共达900篇，既涉及有理论的探索，也有对理论的应用研究。通过对数据的分析发现，近几年，对多模态研究的论文呈逐渐上升趋势。

        2.理论研究。李战子（2003）《多模式话语的社会符号学分析》介绍了Kress& Leeuwen所构架的视觉语法和图像分析方法，研究了图像分析的社会学框架，提供了一套明确的分析方法，分析由图像中描写的人物、地点和事件之间的句法关系所建立起来的意义，开创了我国多模态话语分析理论研究的先河。此后，胡壮麟（2007）认为符号学有广阔的目标，视觉、听觉、嗅觉、味觉、触觉，以至抽象的模型、结构、主体意识都应纳入其研究范围;朱永生（2007）就多模态话语分析的理论基础及研究方法进行了探讨;张德禄（2009）探讨了多模态研究的理论框架，同时还探讨了各个模态之间的相互关系，另外对非语言模态的语法结构的建立、语法结构与语篇结构之间的关系及语法结构是如何实现其功能意义也有了深入的研究;韦琴红（2009）研究了多模态话语中的模态、媒介与情态的区别。这些研究从不同角度丰富了多模态话语分析的理论思考，对国内多模态语言的研究起了积极的推动作用和宏观指导的作用。

        3.应用研究。尽管我国引进多模态话语分析理论只有十多年时间，但是研究者对多模态话语分析的研究价值给予了充分重视。李战子（2012）分析认为，目前国内的多模态话语研究主要是应用型研究，最为常见的是将“视觉语法”应用于特定语类、语篇的分析，以揭示多模态与片中意义的构建方式。在此领域内，以系统功能语言学理论基础的实践研究仍占主导地位。数据统计发现，多模态话语分析的应用已涉及了图文关系、多媒体语篇、教材、教学及多模态语料库等方面。①二维平面的图文关系多模态研究。由于图像符号和文字符号本身的差异以及相互所承载的社会文化差异，图文关系需要将“语类”分析和“图类”分析相互合理的结合，才能得到较客观的描写、分析和评价。图像和文本如何相互结合构造意义一直也是多模态话语研究的重点。赵宝福（2008）用多模态话语理论探讨了奥斯卡最佳影片奖《老无所依》的电影海报;汪燕华（2010）研究了多模态话语中的图文关系;王改弟、杨立学（2013）在多模态话语分析的视域下，从文化、意义和模态三个层面对英语诗歌进行了分析研究;孙毅（2012）从图像、颜色和版式设计等方面分析了2011年西安世博会会徽，认为其他各种符号资源与语言一样具有意义构建功能。②多媒体语篇的话语分析研究。多媒体语篇对于语言学研究来说是一种新的语篇形式，其文本的主要内容是通过图像、文字、视频流、数字音频流等表现方式来接受和传递信息。其分析首先是对多媒体语篇的转录，这种转录的方法与纯粹语音的转录相比，有其特有的方式;其次是系统功能语法的理论框架的实际运用与测试;最后，依据多媒体语篇的自身特点，使视频与音频的联系更加紧密，从而加深多媒体语篇与整个社会知识的联系，以便提出更广阔的分析思路。胡壮麟、董佳（2007）以23个PPT演示作品为例，开展了与多模态化相结合的计算机介入的语篇分析，认为PPT既是工具，又是语篇，对PPT演示的研究可推动社会符号学的研究;范洪涛（2011）就电视台少儿频道一则少儿公益广告，分别从再现意义、互动意义及构图意义三个方面对多模态话语进行了研究;冀芳（2013）以多模态话语理论为基础，分别从文化语境、内容层面和表达层面对微电影进行了探讨。③多模态教材的研究。多模态教材是指由多种模态共同组成的教材，这些模态主要包括文字、图画、录像、录音、表格等同时或者按照一定顺序关系出现。其中，文字是起主导作用，但不再是一种模态占据主导地位的局面，而是多种模态相互竞争相互配合的局面。其特征主要表现为图、文、声、像融为一体，同时度刺激学习者的感官，创造真实而丰富的教学环境，为学习者提供所需要的各种信息，根据学习者的不同特点来选择适当的教学内容与教学方法，从而保证学习者达到预期的学习目标。在多媒体教材方面，特别是英语教材方面已有如下研究成果。陈瑜敏（2008）主要从语域角度对不同时期多模态教科书语篇展开分析，认为教科书图文关系在不同时期具有明显的差异;张德禄、张德禄、张淑杰（2010）提出了多模态外语教材总的特点和类型，即纸质、电子和演示教材，初步探讨了多模态外语教材的编写宏观原则和具体原则。④多模态教学的研究。多模态教学的目的是希望教师能根据教学内容、教学设施、教学目标等基本理念为学生选择一种或多种符合学生发展状况教学方法，并将其合理运用在语言环境中。在多模态课堂外语教学中，教师运用多媒体手段进行听觉、视觉、触觉等多感官的刺激，以此来创设真实的情境，使学习者体验真实的英语语言环境，进而提高学生输出运用词汇的能力。胡雯（2011）探讨了多模态话语分析在英语教学中的应用;应建芬（2011）研究证实了多模态话语分析对英语词汇教学具有积极的指导作用;魏笑梅（2012）对多模态话语理论视角下英语教学资源建设进行了探讨;刘娟（2012）对大学英语精读的多模态教学模式进行了试验研究，发现此种教学模式体现了以学生为中心的教学理念，有利于培养学生的自主学习能力，养成良好的学习习惯，有利于提高教学质量;刘秀丽、张德禄（2013）就外语教师多模态话语与学生积极性的关系进行了研究，文章运用动机理论、注意层次理论和多模态话语分析理论，以教师的人格魅力和理念为基础，建立了一个运用适当的多模态话语来激发学生的学习动力的理论模式。⑤多模态语料库的研究。多模态话语分析研究离不开真实的语料库的支持，近年来，一些学者也展开了对多模态语料库的研究。顾曰国（2007）介绍了多模态语料库语言学方法;王立非、文艳（2008）介绍了多模态分析软件ELAN及其主要功能;张德禄（2012）对多模态话语的设计进行了研究;刘芹、潘鸣威（2010），从语音、词汇、句法、篇章、非言语交际等多个维度构建了中国理工大学生英语口语多模态语料库，认为此类语料库的建立对于理工科英语口语教学、口语教材的编写等能起到重要的作用;付磊（2010）把多模态理论引入到计算机辅助教学的软件评估中，认为开展CAI软件评估工作可促进外语教学多媒体软件的设计和制作，从而有效提高外语教学。

        四、研究存在的不足

        通过对国内近十年的研究成果分析可以发现，多模态话语研究在理论探索及实践应用方面均取得了可喜的成绩。但作为一个全新的研究领域，多模态话语研究在国内发展时间不长，目前还存在一些不足之处，需要进行更加全面的探讨和深入研究。

        1.以理论研究为主，实证研究偏少。通过分析发现，虽然目前国内对多模态的研究呈上升趋势，但主要是介绍国外的相关理论和研究方法，或以多模态理论对相关语篇等进行分析，主观性较强，缺乏对多模态语法关系进行科学的调查取证与量化分析，实证研究有待加强。

        2.静态文本研究偏多，动态研究较少。目前国内多以多模态理论为基础，对静态的二维平面图文关系进行分析，例如影视作品海报、漫画、英语诗歌等，而动态语境中的多模态话语分析研究较少，比如，PPT研究、多模态语境下的外语教学、影视作品研究等。此方面的研究有待加强。

        3.各种模态之间的关系有待研究。张德禄（2009）认为多模态话语的各个模态之间是相互作用和影响的，目前，对于各个模态之间的关系却难以界定，需要有更科学的研究方法来验证。

        五、结语

        经过国内学者十多年的努力，目前多模态话语理论在中国的研究已进入蓬勃发展时期，取得了可喜的成绩。多模态话语作为一门新兴的学科，理论研究需要创新，实践研究还需要量化。我们相信，未来多模态话语研究方向越来越广阔，前景越来越美好。

        参考文献：

        [1]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007.（01）：1-10.

        [2]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007，（05）：82-86.

        [3]Kress G R，Van Leeuween T.Reading Image[M]. London： Rouledge，1996：183.

        [4]朱永生.话语分析五十年：回顾与展望[J].外国语（上海外国语大学学报），2003，（03）：43-50.

        [5]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009，（01）：24-30.

        [6]韦琴红.论多模态话语中的模态、媒介与情态[J].外语教学，2009，（04）：54-57.

        [7]孙毅.多模态话语意义建构——以2011西安世界园艺博览会会徽为基点[J].外语与外语教学，2012，（01）：44-47.

        [8]张德禄.论多模态话语设计[J].山东外语教学，2012，（01）：9-15.

        [9]刘娟.大学英语精读之多模态话语教学[J].长春理工大学学报（社会科学版），2012，（04）：184-187.

        [10]李战子，陆丹云.多模态符号学：理论基础，研究途径与发展前景[J].外语研究，2012，（02）：1-8.

        [11]魏笑梅.多模态话语理论视角下英语教学资源建设[J].黑龙江教育（高教研究与评估），2012，（06）：20-21.

        [12]王立非，文艳.应用语言学研究的多模态分析方法[J].外语电化教学，2008，（03）：8-12.

        [13]赵宝福.多模态话语分析奥斯卡最佳影片奖《老无所依》的电影海报[J].科教文汇（下旬刊），2008，（05）：167.

        [14]陈瑜敏，王红阳.多模态语篇图像的概念意义与图文关系——当代教科书的多模态语篇分析[J].宁波大学学报（教育科学版），2008，（01）：124-129.

        [15]汪燕华.多模态语篇分析的社会符号学理据[J].外语学刊，2010，06：145-147.

        [17]付磊.基于“多模态理论”的《新视野大学英语视听说》CAI软件评价[J].山东广播电视大学学报，2010，（04）：37-38.

        [16]张德禄，张淑杰.多模态性外语教材编写原则探索[J].外语界，2010，（05）：26-33.

        [17]刘芹，潘鸣威.多模态环境下中国大学生英语口语非言语交际能力研究初探[J].外语电化教学，2010，（02）：38-43.

        [18]王改娣，杨立学.英语诗歌之多模态话语分析研究[J].山东外语教学，2013，（02）：26-31.

        [19]冀芳.多模态话语分析下的微电影研究[J].电影文学，2013，（11）：34-35.

        [20]刘秀丽，张德禄，张宜波.外语教师多模态话语与学生学习积极性的关系研究[J].外语电化教学，2013，（03）：3-9.

        [21]王梦婉.漫画多模态话语的再现功能分析——以一幅《PHD漫画》为例[J].北京科技大学学报（社会科学版），2014，（05）：28-33.

        [22]胡壮麟，董佳.意义的多模态构建——对一次PPT演示竞赛的语篇分析[J].外语电化教学，2006，（03）：3-12.

        [23][26]范洪涛.多模态话语的社会符号学解析——以一则公益广告为例[J].兰州教育学院学报，2011，（02）：31-33.

        [24]胡雯.多模态话语分析在英语教学中的应用[J].山东理工大学学报（社会科学版），2011，（03）：104-108.

        [25]应建芬.多模态话语分析与大学英语词汇教学[J].牡丹江大学学报，2011，（06）：136-138.

        [26]侯建波.房地产广告的多模态人际意义研究[J].中国外语，2014，（04）：48-53.

        [27]顾曰国.论言思情貌整一原则与鲜活话语研究——多模态语料库语言学方法[J].当代修辞学，2013，（06）：1-19.