人机交互的进展及面临的挑战

计算机辅助设计与图形学学报

JOURNAL OF COMPU TER 2AIDED DESIGN &COMPU TER GRAPHICS

Vol 116,No 11Jan 1,2004

原稿收到日期:2003208226;修改稿收到日期:20032102271本课题得到国家自然科学基金重点项目(60033020)和国家“八六三”高技术研究发展计划(2001AA114170)资助1董士海,男,1939年生,教授,博士生导师,主要研究方向为计算机软件、人机交互、虚拟现实、计算机图形学1

人机交互的进展及面临的挑战

董士海

(北京大学计算机科学技术系　北京　100871)

摘要　叙述了人机交互的最近进展,尤其是我国的一些优秀成果,包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化;并论述了无所不在计算等对人机交互提出的挑战1最后发表了若干看法1

关键词　人机交互;用户界面;多通道交互;无所不在计算中图法分类号　TP311

Progress and Challenge of H uman 2Computer Interaction

Dong Shihai

(Depart ment of Com puter Science and Technology ,Peki ng U niversity ,Beiji ng 　100871)

Abstract 　　This article describes the current progress of human 2computer interaction ,especially in China 1It includes multimodal interaction ,interactive models ,virtual reality and 3D interaction ,wear 2able and mobile computing ,smart spaces ,and standardization 1Also it discusses the challenge of human 2computer interaction from ubiquitous computing and the others 1At last some viewpoints are mentioned 1K ey w ords 　human 2computer interaction ;user interface ;multimodal interaction ;ubiquitous computing

1　引　　言

人机交互(Human 2Computer Interaction ,HCI )是研究人、计算机以及它们间相互影响的技术1而用户界面是人与计算机之间传递、交换信息的媒介和对话接口,是计算机系统的重要组成部分1人机交互和用户界面有紧密的联系,但又是两个不同的概念:前者强调的是技术和模型,后者是计算机的关键组成部分1计算机是20世纪的一项伟大发明,它对21世纪人类生活的各个方面将带来深刻影响1计算机的发展历史,不仅是处理器速度、存储器容量飞速提高的历史,也是不断改善人机交互技术的历史1人机交互技术,如鼠标器、窗口系统、超文本、浏

览器等,已对计算机的发展产生了巨大的影响,而且

还将继续影响全人类的生活1人机交互技术是当前信息产业竞争的一个焦点,世界各国都将人机交互技术作为重点研究的一项关键技术1美国总统信息技术顾问委员会的“21世纪的信息技术报告”中[1]将“人机交互和信息管理”列为新世纪4项重点发展的信息技术(还包括软件、可伸缩信息基础设施、高端计算)之一,它的目标是研制“能听、能说、能理解人类语言的计算机”,并指出“现在美国40%以上的家庭拥有计算机,然而,对于大多数美国人来说,计算机仍然难以使用1调查表明,由于不理解计算机正在做什么,用户浪费了12%以上的上机时间1更好的人机交互将使计算机易于使用,并使使用者更愉快,因而可提高生产率1考虑到现在经常使用计

2　回　　顾

人机交互的发展历史,是从人适应计算机到计算机不断地适应人的发展史1它经历了几个阶段: (1)早期的手工作业阶段1当时交互的特点是由设计者本人(或本部门同事)来使用计算机,他们采用手工操作和依赖机器(二进制机器代码)的方法去适应现在看来是十分笨拙的计算机;(2)作业控制语言及交互命令语言阶段1这一阶段的特点是计算机的主要使用者———程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道,虽然要记忆许多命令和熟练地敲键盘,但已可用较方便的手段来调试程序、了解计算机执行情况;(3)图形用户界面(GU I)阶段1GU I的主要特点是桌面隐喻、WIMP 技术、直接操纵和“所见即所得(W YSIW YG)”1由于GU I简明易学、减少了敲键盘、实现了“事实上的标准化”,因而使不懂计算机的普通用户也可以熟练地使用,开拓了用户人群1它的出现使信息产业得到空前的发展;(4)网络用户界面的出现1以超文本标记语言HTML及超文本传输协议HTTP为主要基础的网络浏览器是网络用户界面的代表1由它形成的WWW网已经成为当今Internet的支柱1这类人机交互技术的特点是发展快,新的技术不断出现,如搜索引擎、网络加速、多媒体动画、聊天工具等;

(5)多通道、多媒体的智能人机交互阶段1以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化,是当前计算机的两个重要的发展趋势1而以鼠标和键盘为代表的GU I技术是影响它们发展的瓶颈1利用人的多种感觉通道和动作通道(如语音、手写、姿势、视线、表情等输入),以并行、非精确的方式与(可见或不可见的)计算机环境进行交互,可以提高人机交互的自然性和高效性1多通道、多媒体的智能人机交互对我们既是一个挑战,也是一个极好的机遇1在人机交互的发展中,一大批专家为此做出了卓越的贡献1下面是最有影响的一些事件和成果:

(1)1945年,美国罗斯福总统的科学顾问Bush (14～1974)在《大西洋月刊》上发表的“as we may think”的著名论文[3],提出了应采用设备或技术来帮助科学家检索、记录、分析及传输各种信息的新思路和名为“Memex”的一种工作站构想,影响着一大批最著名计算机科学家1

(2)1963年,美国麻省理工学院Sutherland开创了计算机图形学的新领域,并获1988年ACM图灵奖1他还在1968年开发了头盔式立体显示器,成为现代虚拟现实技术的重要基础1

(3)1963年,美国斯坦福研究所的Engelbart发明了鼠标器,他预言鼠标器比其他输入设备都好,并在超文本系统、导航工具方面取得了杰出的成果(Augmented Human Intellect Project),获1997年ACM图灵奖110年后,鼠标器经过不断地改进,成为影响当代计算机使用的最重要成果1

(4)20世纪70年代,当时在Xerox研究中心的Alan Kay提出了Smalltalk面向对象程序设计等思想,并发明了重叠式多窗口系统,后经苹果、微软、麻省理工学院等单位的不断研究和开发,形成了目前广泛使用的图形用户界面的标准范式1

(5)19年,Tim Berners2Lee在日内瓦的CERN 用HTML及HTTP开发了WWW网,随后出现了各种浏览器(网络用户界面),使互联网飞速发展起来1

(6)20世纪90年代,美国麻省理工学院Negroponte (他早在30年前就提出了“交谈式计算机”概念)领导的媒体实验室在新一代多通道用户界面方面(包括语音、手势、智能体等)做了大量开创性的工作1

2计算机辅助设计与图形学学报2004年他是畅销书《数字化生存(Being Digital)》的作者1

(7)20世纪90年代,美国Xerox公司PARC的首席科学家Mark Weiser(1952～1999),首先提出“无所不在计算(Ubiquitous Computing)”思想,并在此领域做了大量开拓性的工作1

3　进　　展

311　自然、高效的多通道交互

多通道交互(Multi2Modal Interaction,MM I)是近年来迅速发展的一种人机交互技术,它既适应了“以人为中心”的自然交互准则,也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)的快速发展1MM I是指“一种使用多种通道与计算机通信的人机交互方式1通道(modality)涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法,如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等”,采用这种方式的计算机用户界面称为“多通道用户界面”1 MM I的各类通道(界面)技术中,有不少已经实用化、产品化、商品化1其中我国科技人员做出了不少优异的工作:在手写汉字识别方面,中国科学院自动化研究所开发的“汉王笔”手写汉字识别系统经过近20年的研究和开发,已能识别27000个汉字,当用非草写汉字、以每分钟12个汉字的速度书写时,识别率可达9918%1我国现在已约有300万手写汉字识别系统的用户1微软亚洲研究院多通道用户界面组[4]发明的数字墨水技术,采用全新易操纵的笔交互设备、高质量的墨水绘制技术、智慧的墨迹分析技术等,不仅可用作为文字识别、图形绘制的输入,而且可作为一种全新的“Ink”数据模型,使手写笔记更易阅读、获取、组织和使用1数字墨水技术已作为产品结合在微软的Tablet PC操作系统中,产生了巨大的社会影响1它还将继续发展,有可能成为新一代优秀的自然交互设备1在笔式交互技术研究中,中国科学院软件研究所人机交互技术与智能信息处理实验室在笔式交互软件开发平台、面向教学的笔式办公套件(包括课件制作、笔式授课、笔式数学公式计算器、笔式简谱制作等)、面向儿童的神笔马良系统的开发应用方面均有出色的工作,其中不少已经实用化、产品化1最近,瑞典Anoto AB公司[5]开发了使用蓝牙技术的digital pens,digital pa2 pers专利及相关的开发工具包等,在采用纸、笔的有形(实物)操作界面方面带来诱人的应用前景,已引起广泛重视1在中文语音识别方面,IBM/Via Voice 连续中文语音识别系统经过不断改进,已广泛应用于Office/XP的中文版等办公软件和应用软件中,在中文语音识别领域有重要影响1中国科学院自动化研究所“汉语连续语音听写系统”的特点是建立了基于决策树的上下文相关模型;针对连续语音中声调之间的协同发音问题,建立了相应的变调模型;建立了与识别系统配套的自适应平台,降低35%左右音节误识率;提出了领域自适应方法,通过较少的领域语料,可得到较好的领域自适应模型和字典[6]1语音合成技术,又称文语转换(Text To Speech, TTS)技术,从1990年基音同步叠加(Pitch2Syn2 chronous OverLap and Add,PSOLA)方法的提出,使合成语音的音色和自然度明显提高1基于PSOLA 方法的法语、德语、英语、日语等语种的文语转换系统相继研制成功1在汉语语音合成方面国内起步较晚,大致也经历了共振峰合成至PSOLA方法的过程1在国家的支持下,汉语语音合成取得了显著进展,如中国科学院声学研究所的KX2PSOLA、联想佳音、清华大学的TH SPEECH、中国科技大学的KD TAL K等系统11999年,在国家智能计算机研究开发中心、中国科技大学人机语音通信实验室的基础上组建了科大讯飞公司,技术上更着眼于合成语音的自然度、可懂度和音质,设计了基于LMA声道模型的语音合成器、基于数字串的韵律规则分层构造、基于听感量化的语音库,以及基于汉字音、形、义相结合的音韵码等,先后研制成功音色和自然度更高的KD863及KD2000中文语音合成系统1其语音产品在主流市场有较高占有率,并牵头制定中文语音标准,是具有国际先进水平的汉语语音合成技术[7]1上述成果表明,作为人类最重要的自然通道———语音和笔的交互技术(包括手写识别、数字墨水、笔交互、语音识别、语音合成等通道技术),近年来已有显著的进步,我国的不少成果已具有国际先进水平,并达到了一定的产业规模1虽然语音和笔(手势)通道因其自身的特点,在抗干扰、准确度等方面仍嫌不足,但它们在多通道整合、领域受限应用等配合下,最有希望成为新一代实用的自然交互技术1 MM I的通道(界面)技术中,有不少研究开发取得明显进展;也开始了不少新的通道技术研究1在手语识别和合成方面,中国科学院计算技术研究所研制成功了基于多功能感知的中国手语识别与合成系统,它采用数据手套可识别大词汇量(5177个)的手语词1该系统建立了中国手语词库,对于给定文

3

1期董士海:人机交互的进展及面临的挑战

本句子(可由正常人话语转换而成),自动合成相应的人体运动数据1最后采用计算机人体动画技术,将运动数据应用于虚拟人,由虚拟人完成合成的手语运动1该系统可输出大词汇量的手语词,为中国聋哑人的教育、生活提供了有用的辅助工具,使他们用手语与正常人的交流成为可能[8]1视线跟踪(眼动)技术由于其可能代替键盘输入、鼠标移动的功能,可能达到“所视即所得(What Y ou Look at is What Y ou G et )”,因而对残疾人和飞行员等有极大的吸引力,在早期就引起心理学家、交互技术专家的关注1视线跟踪技术,一是研究高质量的眼动跟踪设备,二是如何构造易于操作的用户界面1眼动跟踪设备有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分;其精度有011°,1,2°不等;制造成本也差异很大1其中精度和对用户的及干扰是一对尖锐的矛盾1目前一类产品是采用头戴头的设备,它用来获取两眼瞳孔(或角膜)中视点,其采样率和精度高,结果可靠1如SR Research 图1　EyeLinkII

公司的EyeLink II (如图1所示)的采样率可达500

Hz ,位置精度小于015°,异常分辨率小于01005°[9]

1类似的产品很多,如T obii Eye 2T racker ,Sens oMotoric Instruments ,ViewPoint Eye Tracker ,eyetechdigit 2al 2systems 等1另一类是在PC 机前装了两个头的设备,精度不高,但适合残疾人操作计算机使用1如LC Technologies 公司的Eye G aze 系统、Eye 2Tech Digital Systems 公司的Quick G lance 系统等,它们的价格差异很大,从上千到几万美元不等1Ja 2cob 等[10]对视线跟踪用于人机交互进行了很好的综述1根据视线跟踪(眼动)技术构造的界面现在被称为“注视用户界面(Attentive User Interfaces ,

AU I )”[11]

11985年,M IT 的著名MM I 专家Bolt 开发了第一个AU I :“用眼动编制管弦乐的动态窗

口”[12],他在一个大显示器上模拟了用视线注视来选取可同时播放立体声音乐的40段乐曲图像,以此来创作乐曲1Nielsen [13]提出了用非命令界面的隐

式输入来代替显式的鼠标等输入的思想1Vertegaal 等[14]的G AZE 是第一个实现该思想的AU I 1最近,IBM Almaden 研究中心的Zhai ,Maglio 等[15216]发表了他们在新的AU I 、注视Agents 等方面的成果1可以预计,在多人多机交互及虚拟现实系统中视线跟踪将有诱人的应用前景1由于网络游戏的快速发展,触觉通道的力反馈装置在各种人机交互系统中也展露头角,新一代力反馈感应技术主要有触觉感应(TouchSense )技术和动作感应(G 2Force Tilt )技术两种1TouchSense 技术主要用在鼠标/轨迹球等产品中,而G 2Force Tilt 技术则主要用在动感游戏控制器中1美国Kensington 公司推出的Orbit 3D Trackball 力反馈轨迹球采用Immersion 公司最新的TouchSense 技术1iFeel Mouse 是罗技公司最新的一款支持震动功能的新一代动感旋貂(鼠标)1其外观继承了2000年上市极光旋貂,并在其基础上增加了一块控制芯片和一个小马达,因马达的位置在鼠标的偏下部,因此主要震动源也来自于手掌根部1在非游戏的高精度触觉反馈装置中,最著名的是由M IT 人工智能实验室Massie and Salisbury 开发、美国SensAble Technologies 公司生产的Phantom 触觉反馈(6自由度)设备和Ghost 软件开发包1由于其精度高,已广泛用于军事、医学、机器人、教学、虚拟现实等各类应用中,我国总医院等单位已将它用于手术的教学培训中1但该设备价格较贵,连同软件约需US ＄15000/套,影响了它的推广1生物特征识别技术(Biometrics )是受到广泛关注的一类新兴识别技术,早期通过对人的指纹识别来确定人的身份,因而指纹识别被广泛应用于安全、等部门1随着反恐斗争的日显重要,各国正在对其他人体特征进行广泛研究,希望能尽快找到快速、准确、方便、廉价的身份识别方法1对眼睛虹膜、掌纹、笔迹、步态、语音、人脸、DNA 等的人类特征研究和开发,正引起、企业、研究单位的广泛注意1唇读、人脸表情识别是又一个人机交互技术的热点1唇读将人们说话的语音和嘴唇变化的形态结合起来,以便更准确地获取人们表达的意图、感情和愿望等1人脸表情识别的模型和方法也在不断改进,这方面我们不再赘述1自然语言理解始终是自然人机交互的最重要目标,虽然目前在语言模型、语料库、受限领域应用等方面均有进展,但由于它本身具有的难度(自然语言的不规范性等),自然语言理解仍是计算机科学家和语言学家的一个长期研究目标1

MM I 的一个核心研究内容是多通道的整合问

4

计算机辅助设计与图形学学报2004年

2002年2月,W3C(W orld Wide Web C ons ortium)国际组织成立了“多通道交互”工作小组(Multimodal Interaction Working Group),开发W3C新的一类支持移动设备MMI的协议标准[23]1通道可包括G U I, Speech,Vision,Pen,G estures,Haptic等,其中输入可包括声音、键盘、鼠标、触笔、触垫等,输出可包括图形显示器、声音或语言提示等1目前已有42家大型IT企业或单位参加该小组,参与制定“多通道交互”的相关协议标准,其中包括Apple,A T&T,Canon, Cisco,Corel,Ericsson,Hewlett2Packard,IBM,Intel, Micros oft,Mitsubishi Electric,Motorola,NEC,Nokia,Or2 acle,Panas onic,Siemens,Sun Microsystems,T oyohashi U2 niversity of T echnology等1可以看到,该小组成员它覆盖了几乎所有计算机软硬件、移动通信、家电的大型厂商1目前它已开展了7项标准的制定:多通道交互框架(Multimodal Interaction Framework),多通道交互需求(Multimodal Interaction Requirements),多通道交互用例(Multimodal Interaction Use Cases),可扩展多通道注释语言需求(Extensible MultiModal Annotation language requirements),数字墨水需求(Ink Requirements),可扩展多通道注释标记语言(Extensible MultiModal Annotation marku p language, EMMA)并已在互联网上发布不同阶段的正式草稿,供补充、完善1这些标准的制定既反映了MM I技术已开始成熟,也是国际大型厂商企图控制全球MM I 市场的具体体现,值得我们高度重视1

312　人机交互模型和设计方法

模型在人机交互领域中十分重要,用得很多,类型也很多1一类是从系统的结构出发,讨论界面在系统中的地位和分解,我们称它为“界面结构模型”1其典型的例子是将界面分成三部分(表示部件、对话控制、应用接口)的Seeheim模型1另一类是从系统设计的角度来了解用户的“用户特性模型”1它分析不同用户的特点,以提高系统的针对性和适应性,增强界面个性化和提高效率1其典型例子是按照用户对系统、领域的知识、经验、技能的不同,将用户分为偶然、生疏、熟练、专家型等4类用户1我们这里讨论的是从认知科学出发,分析用户如何和计算机互动的“人机交互模型”,即行为模型1任务分析模型就是其中的一例120世纪70年代,美国卡内奇-梅隆大学的Card等发表了一系列文章,论述了心理学的问题解决理论及与界面设计的关系,讨论了文本编辑及用计算机完成给定任务时的认知过程和心理学要求1文献[24225]描述了一个用人机交互方式进行文本编辑的系统模型,它通过提供解决问题时的操作步骤,展示了一个用户任务分析模型GOMS (G oals,Operators,Methods,Selection rules)1该模型从以下几方面对模型进行评估:对用户操作顺序进行预测;对完成一个特定的修改所需要的时间进行预测;对模型的具体应用准确性所产生的影响进行预测1该模型的理论基础是认知心理学家创立的问题解决理论[26]11996年,美国卡内奇-梅隆大学的John等[27]又进一步提出了CPM(Cognitive Per2 ceptual Motor)2GOMS模型,这是一个并行处理的多层次模型,它也称作“关键路径方法”1CPM2 GOMS模型从人的因素处理器各个层面上提供感知、认知和运动的操作功能,它可以在任务的要求下进行并行操作,可以同时执行多个活动目标1任务分析GOMS模型长期以来一直是人机交互最重要模型之一,但由于其层次较低(词法和文法级),不适应较高层次上对用户概念、意图的建模,也不适应对系统需求的高层次分析1

近年来,国际上已广泛采用“以用户为中心的设计(User Centered Design,UCD)”方法[28]1该方法已被国际标准化组织(ISO)作为正式标准———以人

5

1期董士海:人机交互的进展及面临的挑战为中心的交互系统设计过程[29]而发布1UCD方法的主要特征是用户的积极参与,对用户及其任务要求的清楚了解;在用户和技术之间适当分配功能;反复设计解决方案;多学科设计1其主要设计活动是了解并确定使用背景;确定用户和组织要求;提出设计解决方案;根据要求评价设计1在具体交互设计中,目前广泛使用Carroll的“基于剧情的设计(Sce2 nario2Based Design)方法”[30231],该方法从用户的观点详细地给出交互过程的全部角色(人、设备、数据源、系统等);各种场景的假设;剧情的描述;某种形式(如用事件表来刻画用户动作、设备响应、事件叙述、事件处理、动作结果等)的人机对话逐步分解;其他各种条件(如协议,同步,例外事件等)1由于该方法符合人的认知过程、在较高层次上描述了用户的意图、又便于实现,因而在大量交互系统设计中采用,如W3C多通道交互工作小组的一个标准文档“多通道交互用例(Multimodal Interaction Use Cas2 es)”[32]1与Norman分布式认知理论[33235]用于HCI 建模的同时,近年来采用上下文、基于知识的概念模型逐渐受人重视1这种建模方法[36]吸取了“以用户为中心的设计”方法和“基于剧情的设计方法”的一些特点,期望在更高层次上建模1文献[37]就是采用“本体(Ontology)”来描述知识的交互设计概念建模方案1

313　虚拟现实和三维交互

二维图形用户界面的一个发展方向是在桌面上显示三维效果,同时虚拟现实技术的一个最重要特征是它的立体沉浸感1为了达到三维效果和立体的沉浸感,并构造三维用户界面(3D2U I),人们先后发明了立体眼镜、头盔式显示器(HMD)、双目全方位监视器(BOOM)、墙式显示屏的自动声像虚拟环境(CAV E)等1它们已广泛用于不同需求、不同平台的虚拟现实系统中1北京航空航天大学等6家单位联合承担的“分布式虚拟现实应用系统开发与支撑环境”是我国第一个大型虚拟现实研究项目,已取得优异的成果1浙江大学CAD&CG国家重点实验室在CAV E设备上做了许多创新的研究工作1在三维输入设备方面,三维鼠标、三维跟踪球、三维游戏杆已广泛应用于各种三维及网络游戏中1在大型虚拟现实系统中,目前仍广泛使用各种超声、电磁、光导介质的位置跟踪设备,以Polhemus器件构造成的头动位置检测器、数据手套、数据衣服等虽然有很多不便之处,但因其精度高,仍是大型虚拟现实系统的主要交互设备1触觉和力反馈装置已经有大批不同价位

的产品出现在市场,成为军事、医学、游戏等应用领域的新型交互设备1值得重视的是,由于数字摄像技术在价格和精度方面的快速发展,同时由于各种识别技术的进展,目前采用多方位、多角度、多台数字摄像机构建的无障碍虚拟现实环境(智能空间, Smart X),已广泛用于室内条件下的虚拟现实系统(如智能办公室,智能教室等)1不仅廉价的桌面虚拟现实应用在商品展示、网络游戏等领域得到推广,而且由于海量数据的科学可视化、大型军事虚拟现实环境等的需求,各类三维交互设备仍有相当的发展空间,尤其是在可靠性、价格、性能等方面需不断改进1目前,由于用平面照片构造三维模型存在精度问题等,因而另一类三维扫描设备有快速发展的趋势,并已广泛应用于虚拟现实、文物保护、建筑修复与翻新、古迹数字化存储、GIS近景数据获取、工程改造与维护、历史资料建档施工、仿真模拟等1三维扫描设备有接触式和非接触式、手持和固定、不同精度之分,可按不同应用环境和精度要求来选取1由于使用方便,非接触式三维手持激光扫描仪很受一般用户青睐1国外著名公司先后推出各类新品,如在三维位置获取、运动跟踪技术方面领先的美国Polhemus公司,最近推出了Fast SCAN Cobra手持激光三维扫描仪,它在保留了以前产品功能的同时,体积却减小了一半(长度为230mm),使用和携带方便,费用也可节省30%1它还可以实时地进行三维模型的“自动缝合”、自动洞穴填补、表面平滑外推、网格简化等1图2所示为美国Roland公司的Picza

图2　3D2Scanner

L PX2250型三维扫描仪,其平面扫描模式的分辨率可达012mm,平面扫描区域为230mm(宽)×40614 mm(高);旋转扫描模式的分辨率可达012°,旋转扫描区域为254mm(直径)×40614mm(高)1目前每台市价约1200美元1多伦多大学和Alias Wavefront 公司合作研究的新三维显示界面[38],采用了新型的“真”三维Volumetric显示器,它不需要戴立体眼镜或戴上装有显示器的头盔,而是直接用肉眼看到真

6计算机辅助设计与图形学学报2004年

三维效果,如图3所示1这种真三维显示有的采用全息光衍射原理来显示(Holographic Display );有的采用快速的体旋转成像技术(如felix3d 1com 产品);有的采用在三维静态媒体内发射体素而让用户感受三维视觉效果1文献[38]详细讨论了在不同显示器大小(直径分别为3英寸、1英尺、4英尺)、不同的三维输入方法、不同光标、触摸与非触摸交互等情况下,如何用软件Widgets 实现对实体的各类三维基本交互任务:选择、移动、旋转、缩放、导航、命令、过滤等1可以看到,非强制、无障碍、高精度、低价格是今后交互设备的发展趋势

1

图3　Volumetric Dis play

314　可穿戴计算机和移动手持设备的交互

可穿戴计算机可广泛应用于野外作业,如军事作战与训练、航天器、海洋的油井平台等1它设计的主要问题是,如何在有限的工作空间内提供各种信息工具的无缝集成1为了达到这个目的,系统必须通过一种自然、非强制的方法来提供功能,以便让用户的注意力集中在手上的任务,而不被系统所分心1

在用户和所有设备(鼠标、键盘、监视器、操纵杆、移动通信设施等)之间应该有固定的物理联系1国际上,美国麻省理工学院媒体实验室在可穿戴计算技术的研究上一直站在最前沿,德国Xybernaut 公司等在产品开发上卓有成效,IBM ,HP ,Sony 等大公司也都开始了这方面的研发1在可穿戴计算机的人机交互中,应特别重视自然的多通道界面(如语音、视线跟踪、手势等)、上下文感知应用(如位置、环境条件、身份等传感器)、经验的自动捕捉及访问(如采用增强现实———AR 的see 2through 头盔显示来交流信息)1CMU 的LingWear 项目[39]的目标是开发用于可穿戴计算机的语言,对处于外语环境下的游客、参观者、军事人员等提供帮助助1LingWear 是一个可移动的游览信息系统,它使得身着可穿戴计算机的用户在身处外国城市的时候可以找到道路、景点、住宿等相关信息1该项目涉及语音处理和多通道两

方面的技术,包括语言翻译、道路导引以及通过声

音、手写、手势和图像处理等方式进行信息的存取1Siewiorek [40]在总结CMU 可穿戴计算机应用时,认为“CMU 在20余项不同的可穿戴应用中,发现有三种式样用得频繁:每日(周、月)报表;工作定单;各类求助咨询”,因而需针对频繁的应用式样来设计快速、方便、自然的交互方式1在我国,哈尔滨工业大学、重庆大学等单位已成立了研究组织,进行可穿戴计算新技术和产品的研究与开发1

移动手持计算设备是指具有计算功能的PDA 、掌上电脑、智能手机等小型设备12002年我国手机拥有量为216亿部,普及率为16%左右,而美欧等市场手机的普及率已经达到60%以上1随着无线互联网、移动通信网的快速发展,手机的普及率还将提高,小型、时尚、功能强、价廉的手机已是厂商的开发目标;其中将计算功能嵌入手机、通信功能加入掌上电脑已成潮流1那么,在移动计算环境下的人机交互有什么特点呢?

(1)必须自然交互,自然感知1我们不能想象用

大屏幕、键盘、鼠标来操作手持移动设备,在小屏幕条件下应按照人类认知的特点,利用简洁、摘要、逐步交互细化的方法交流信息1而交互手段应采用简

单按键、笔、语音等自然、高效的多通道方式1(2)应充分利用上下文感知的特点,自动简化信息的复杂性1例如,通过对位置、身份、时间、环境条件等上下文的检测,自动简化信息的处理1(3)重视不同设备、不同网络、不同平台之间的无缝过度和可扩展性1这里有数据传输的协议标准问题,也有不同网络(有线与无线、电信网与互联网等)的覆盖、互联、带宽问题等1前面提到W3C 国际组织正在制定支持移动设备多通道交互的协议标准,就是为了抢先确定标准,尽早占领市场份额1美国著名的SRI 的PowerBrowser 项目[41],设计了一个基于移动PDA

的Web 信息界面,此项目采用低带宽的无线连接设备访问WWW 网络,用户可以通过语音和笔输入信息实现以下功能:导航;站点检索和关键字自动填充;可折叠的摘要;文本摘要;表单输入等1北京大学人机交互和多媒体研究室通过移动导游系统

TGH 的开发[42](如图4所示),对移动设备多通道交互框架、上下文感知的设计实现、移动互联网上Client/Server 结构对语音和笔通道整合的处理等进

行广泛的研究,通过实验和评估表明上述框架、设计方案是合理的,其结果值得重视和推广1

图4　TGH系统

315　智能空间及智能用户界面

智能空间(Smart Space)是指一个嵌入了计算、信息设备和多通道传感器的工作空间1由于在物理空间中嵌入了计算机视觉、语音识别、墙面投影等MM I能力,使隐藏在视线之外的计算机可以识别这个物理空间中人的姿态、手势、语音和上下文等信息,进而判断出人的意图并做出合适的反馈或动作,帮助人们更加有效地工作,提高人们的生活质量1这个物理空间可以是一张办公桌、一个教室或一幢住宅1由于在智能空间里用户能方便地访问信息和获得计算机的服务,因而可高效地单独工作或与他人协同工作1国际上已开展了许多智能空间的研究项目(Smart X)1M IT的人工智能实验室从1996年开始了名为Intelligent Room[43]的研究项目,其目的在于探索先进的人机交互和协作技术,具体目标是建立一个智能房间,解释和增强其中发生的活动1通过在一个普通会议室和起居室内安装多台摄像头、麦克风、墙面投影等设施,使房间可以识别身处其中的人的动作和意图,通过主动提供服务,帮助人们更好地工作和生活1例如,当墙面投影图像是一张地图时,他可以用手指向某个区域并用语音问计算机这是哪个位置;系统也会根据你当前的位置把你需要的图像投影到离你最近的地方1其他研究还有Stanford的Interactive W orks pace[44],G eorgia T ech1的Aware Home[45],U IUC的Active Space[46],Mi2 crosoft的EasyLiving[47],IBM的Blue Space[48],欧洲GMD的iLand[49]等1我国清华大学计算机系实现了一个智能环境实验系统———智能教室(Smart Classroom)[50]1该教室把一个普通的教室空间增强

为教师和远程教育系统的交互界面,在这个空间中,教师可以摆脱键盘、鼠标、显示器的束缚,用语音、手势,甚至身体语言等传统的授课经验来与远程的学生交互1在这里,现场的课堂教育和远程教育的界限被取消了,教师可以同时给现场的学生和远程的学生进行授课1智能教室实现了实时远程教学,它借助于一种可靠多播协议和自适应传输机制的支持,可以在网上开展交互式的远程教育1同时,这个空间可以自动记录教学过程中发生的事件,产生一个可检索的复合文档,作为有现场感的多媒体课件来使用1

将智能技术结合到用户界面中,而构成“智能用户界面(Intelligent User Interface,IU I)”[51252],智能技术是它的核心1IU I的最终目标是使人机交互成为和人-人交互一样自然、方便1智能环境是指用户界面的宿主系统所处的环境应该是智能的1智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在1智能空间是“智能环境”的一种1在当今的无线互联网时代,人们通过跨地域的互联网已可以和世界上任何地方进行交互1互联网、GPS、移动通信、家电一体化等已为更大范围的智能环境创造了良好的基础1上下文感知[53254]是提高计算智能性的重要途径1上下文是指计算系统运行环境中的一组状态或变量,其中的某些状态和变量可以直接改变系统的行为,而另一些则可能引起用户兴趣从而通过用户影响系统行为1上下文感知计算是指系统自动地对上下文、上下文变化以及上下文历史进行感知和应用,根据它调整自身的行为1任何可能对系统行为产生影响的因素都属于上下文的范畴,包括用户的位置、状态和习惯,交互历史,设备的物理特征、环境温度、光强、交通、周围人等各种状态1

智能体(agents)在智能技术中的重要性已“不言而喻”了1在IU I中,SRI提出的开放智能体结构(Open Agent Architecture,OAA)[17]已用于许多多通道用户界面系统(包括Smart X)中1OAA是开发多agent系统的一种通用框架,它将一群异质的软件agents组织在一个分布式的环境中1O GI提出的AAA(Adaptive Agent Architecture)[55]是开发多a2 gent系统的另一个通用框架,它以Java库的形式支持O GI的各类多智能体系统(包括MM I系统)的研究1已经实现的AAA库完全与SRI的OAA111版本兼容1与OAA结构相比,AAA有更多的优点,包括多代理(multi2brokered)的系统结构,健壮性好;支持并发处理;采用内部智能体直接通信,其效率高等1

316　标准化及其他

在人机交互领域,ISO已正式发布了许多的国际标准[56],下面列出其中一部分:

(1)ISO1007521991人类工效学与心理负荷相关的术语(国标G B/T1524121994等效采用);

(2)ISO638521981工作系统设计的人类工效学原则(国标G B/T1625121996等效采用);

(3)ISO/IEC1074121995信息技术———系统用户界面-交互对话;

(4)ISO/IEC1158122000信息技术———系统用户界面-图标符号及功能;

(5)ISO134062(199922001)使用平板视觉显示器工作的人类工效学要求;

(6)ISO92412(199222000)使用视觉显示终端办公的人类工效学要求(VD Ts)(国标G B/T XXXX 等效采用);

(7)ISO1340721999以人为中心的交互系统设计过程(国标G B/T XXXX等效采用)1

这些标准的实施对于提高企业软硬件的设计和开发水平、提高系统产品的使用质量、增强高新技术产业的市场竞争力具有重要的意义1我们国家标准化管理委员会已经或正在制定相应的国家标准,以便推动我国的标准化工作,为我国经济发展服务1与交互设计直接有关的ISO13407和ISO9241国际标准,给国际社会的产品设计方面带来重大影响,其中ISO13407已成为产品设计、测试和可用性评估的依据,对我国加入WTO后企业管理和产品设计与国际接轨有重要作用1该标准的引言中指出:“将人类工效学知识应用于交互系统的设计,可以帮助用户提高工作的有效性和效率,改善工作条件,减少使用过程中可能对用户健康、安全和绩效产生的不良影响”,“本标准的目的在于帮助那些软硬件设计过程的负责人员,认识和策划以人为中心的设计活动,为现有设计过程和方法提供有效、及时的补充”1标准进一步论述了该设计方法的特征是“用户的积极参与和对用户及其任务要求的清楚了解;在用户和技术之间适当分配功能;反复设计解决方案;多学科设计”,并指出“多学科设计小组成员可包括:最终用户、购买者用户的管理者、应用领域业务分析人员、系统工程师、市场营销人员、用户界面设计人员、人类工效学家、技术文档编写人员等”1标准详细规定了4项以人为中心的设计活动:(1)了解并确定使用背景;(2)确定用户和组织要求;(3)提出设计解决方案;(4)根据要求评价设计1ISO9241标准共分17部分,包括概述、任务要求指南、视觉显示要求、键盘要求、工作场所布置和姿势的要求、环境

要求、显示反射要求、显示颜色要求、非键盘输入设备要求、对话原则、可用性指南、信息表达、用户指南、菜单对话、命令对话、直接操作对话、填表式对话1除了ISO国际标准外,还有许多事实上的工业标准,如前面提到的2002年2月W3C“多通道交互”工作小组开发的支持移动设备多通道交互的协议标准1还有2000年1月公布的U IML(User Inter2 face Markup Language)210版本[57]1U IML是一种适应XML的语言,它以设备无关的方式描述用户界面,适应了当今互联网应用的需要1

近年来,在工业设计中运用的可用性工程[58259]为国际上所公认1“可用性”是指某产品在特定使用背景下,为特定用户、用于特定目的时,所具有的有效性、效率和满意度1在ISO9241211可用性指南中,对如何实施“可用性”给出了原则和指南190年代后期,原杭州大学工业心理学重点实验室就为Mo2 torola和Symantec公司开展了产品的可用性测试工作1现在,微软亚洲研究院、西门子、诺基亚等先后在我国设立了“可用性”实验室或中心1大连海洋大学欧盟可用性中国中心为国内软件企业开展了大量“可用性”培训和测试工作[60]1

浙江大学成立了现代工业设计研究所,中国科学院软件研究所成立了工业设计研究室,把工业产品的界面设计和可用性工程作为重要的工作内容1在我国北京大学、北京航空航天大学等高等学校已为大学生开设了“人机交互”或“人机工程”的课程,为研究生开设这方面课程的更多11996年和2002年还先后在我国召开了“第一届多通道界面国际会议ICMI’96”和“第五届亚太CHI国际会议APCHI’02”1

综上所述,我们可以看到国际上人机交互技术有飞速的发展,我国也在这个领域做了大量工作,已有高水平的研究成果和产品1

4　挑　　战

411　无所不在的计算

无所不在的计算(Ubiquitous C om puting,Ubicom p)是由Xerox PARC首席科学家Weiser1988年提出的[61]1他认为从长远看计算机会消失,但这种消失并不是技术发展的直接后果,而是人类心理的作用,因为计算变得无所不在1当人类对某些事物掌握得足够好的时候,这些事物就会和我们生活不可分,我们就会慢慢地不觉得它的存在1就像现在的纸和笔迹无所不在一样,将来计算机会看不见,而计算会无所不在,不可见的人机交互也会无所不在1就像我们时刻呼吸着的氧气一样,我们看不见却可以体验到1也有人把无所不在说成5个“any”:access Any body,Any thing,Any2where,at Any time,via Any device1无所不在的计算强调把计算机嵌入到环境或日常工具中去,而将人们的注意中心集中在任务本身1国外已开展了大量的研究工作,如M IT的Oxygen[62],CMU的Aura[63]等1实践表明,无所不在的计算是一项长期研究目标,它涉及众多领域(硬件、软件、网络、心理学、社会学等),而其核心是自然的人机交互1要适应任何一个“Any”,都将有大量的工作要做1例如,“任何设备”就需要解决微型化、数据交换、互操作性和平台问题等;“任何人”就需要解决各类自然语言理解和翻译等问题1第3节中论述的内容,各类自然感知技术,不同设备、网络、平台的无缝连接和可扩展性,感知上下文技术(包括情感交互)等均是无所不在计算的关键技术1文献[]把“社会用户界面(Social User Interface,SU I)”称为继GU I之后的“新一代用户界面”,并举例微软的“Bob”、联想的“幸福之家”、“我的办公室”,海信的“海信工作室”等1我们一方面肯定这些界面具有多媒体、一定的智能辅助、与环境相似的视感、适合普通人等优点,另一方面也知道它离“不可见计算”还很远!

412　虚拟现实和科学计算可视化

Weiser在他的著名论文[61]中曾对虚拟现实和嵌入式的无所不在计算(在图中称为“具体化的想象”Embodied Virtuality)用两个图示作了对比,前者通过计算机可看到各式各样的虚拟世界,后者则将各式各样计算装置嵌入到世界万物中1前者可能是大型分布式计算机应用系统,后者可能是联网的微型计算设备1就像开始提到的以虚拟现实为代表的计算机系统拟人化和以掌上电脑、智能手机为代表的计算机微型化、随身化和嵌入化,是当前计算机的两个重要的发展趋势1大型虚拟环境和科学可视化系统,均需构造三维交互环境,但目前的手段还是头盔加手套,十分不便1而当多人协同或远距离操作时,还有更多问题需解决1有实用前景的增强现实(Augmented Reality,AR)技术也有许多问题(如被动观察、简单浏览、同步配合等)要解决[65]1虚拟现实和科学计算可视化从三维交互设备、自然交互、上下文感知等方面,同样提出了大量新的人机交互课题1

413　图形用户界面

图形用户界面会被替代吗?否!它将会增强,而不是被替代!有没有一个最终、最佳的用户界面?没有!界面存在的本身,就是一个“不幸”1应该是没有界面,计算机应是不可见!图形用户界面WIMP将继续在许多办公室应用、桌面应用中长期使用1它还将在以下几方面继续发展:从直接控制到非直接控制(Smart X,agents,前面提到的SU I);从二维到三维视感;更准确的语音、手势识别;高质量的触觉反馈设备;更方便的界面开发工具;增强“智能代理”功能;用视频摄像来识别用户的身份、位置、眼动和姿势1

414　Moore定律

虽然很多人怀疑Moore定律是否将继续成立,但计算机的芯片仍按Moore定律而发展,也即计算机的运算速度、存储能力、以至整体计算能力一直在成倍翻新1而人的能力呢?人的认知能力(包括记忆、理解能力)是不随时间成倍增长的1那么人和计算机的交互就会存在严重的不平衡!针对Moore 定律的挑战,我们必须用工具或手段来扩展人的认知能力,或者说我们要增加“人脑的带宽”1顺风耳,千里眼,以至各种嵌入式设备(眼镜、手套、耳机等)都是为了减轻人的认知负荷,扩展认知能力1人机交互技术从本质上讲是为了减轻人的认知负荷,增强人类的感觉通道和动作通道的能力1

415　眼花缭乱的新名词

变革的时代会创造出无数新事物、新名词1在GU I/WIMP不再适应计算机快速发展时,新一代界面的新名词层出不穷,如有知觉的界面(Perceptual U I,PU I)[66],SU I[],IU I[51252],AU I[11],有形的界面或实物操作界面(Tangible U I,TU I)[67],Post2 WIMP U I[68]等1现在喜欢用“计算”来代替“计算机”,因而大量的Computing出现了:无所不在(U2 biquitous),普适(Pervasive),移动(Mobile),可穿戴(Wearable),智能(Intelligent),不可见(Invisible)等1这里不想逐一解释它们的含义或区分它们的差异1我想强调的是无所不在的计算是一项长期的目标,它表明人机交互在“嵌入性”和“可移动性”方面的理想目标1普适计算、不可见计算则更侧重于它的“嵌入性”,而可穿戴计算、移动计算则更侧重于它的“移动性”1“智能计算或界面”则更侧重于它的一个核心技术———智能1图5所示形象地表示了它们的联系[69]1希望通过这些眼花缭乱的新名词,发现“嵌入性(不可见性)”和“可移动性”的实质1

图5　各种新型计算之间的关系

5　结　　论

(1)以WIMP为代表的图形用户界面将继续使用和发展,尤其是在办公室、家庭中广泛应用1

(2)人机交互将呈现出多样化的特点1桌面和非桌面界面、可见和不可见界面将同时共存1语音和笔有希望成为新一代实用的自然交互技术1网络和计算将进入家庭和生活,人们可用多种简单的自然方式进行人机交互1

(3)以不可见、可移动为特征的无所不在计算和以三维、沉浸为特征的虚拟现实环境,将是人机交互面临的重大挑战和研究目标1

(4)人机交互是一门综合学科,它的发展需要计算机硬件、软件、网络、认知心理学、人类工效学等多学科共同努力1

(5)自然、高效、无障碍的多通道交互技术;新的交互设备、智能技术、交互软件和平台;无缝的不同网络互联;以认知科学为基础的交互模型和设计方法;上下文感知的计算模型等,是当前人机交互的研究热点1

(6)以国际和国家标准为指导,采用以用户为中心的设计方法,对产品进行设计和可用性工程评估,是我国工业技术(包括软件产业)健康发展的有效措施1

(7)我国人机交互研究和产业已有明显的进展1我们仍需从战略高度出发,抓住时机,增加投入,加强各学科间、企业界与学术界间以及国际上的更紧密合作,注意知识产权保护,大力培养人机交互人才,开创我国HCI的新局面1

致谢　感谢北京航空航天大学唐荣锡教授的认真审阅与指正和中国科学院软件研究所戴国忠教授的长期合作与交流!感谢北京大学人机交互和多媒体研究室师生在多项HCI研究中做出的贡献和岳玮宁等同学对本文具体事务的参与!

参　考　文　献

[1]The President’s Information Technology Advisory Committee

(PITAC)1Information technology for the twenty2first century:

A bold investment in America’s future[OL]1http://

www1ccic1gov/,1999

[2]Lampson Butler1Computing research in the21st century[N]1

Chinese Information World,19992721(A6)(in Chinese)

(Lampson Butler1二十一世纪的计算研究[N]1中国计算机

报,19992721(A6)

[3]Bush V1As we may think[J]1The Atlantic Monthly,1945,

176(1):101～108

[4]Wang J1Human2computer interaction research and practice in

China[J]1Interactions,2003,10(2):88～96

[5]ANO TO AB Company[OL]1http://www1anoto1com,2003

[6]Institute of Automation,Chinese Academy of Sciences1Com2

mercial key technique of the continuous Chinese speech dictation

system[OL]1http://eadmin1ia1ac1cn/ia/achieve.asp,2003

(in Chinese)

(中国科学院自动化研究所1汉语连续语音听写系统商品化关

键技术[OL]1http://eadmin1ia1ac1cn/ia/achieve1asp,2003) [7]Iflytek Company[OL]1http://www1iflytek1com,2003(in

Chinese)

(安徽中科大讯飞信息科技有限公司1http://www1iflytek1

com/,2003)

[8]Institute of Computing Technology,Chinese Academy of Sci2

ences1Multi2functional Perception[OL]1http://www1ict1

ac1cn/kexue/xm11htm,2003(in Chinese)

(中国科学院计算技术研究所1多功能感知技术[OL]1

http://www1ict1ac1cn/kexue/xm11htm,2003)

[9]SR Research Ltd1EyeLink II K ey Features[OL]11http://

www1sr2research1com/,2003

[10]Jacob R,et al1Eye tracking in human2computer interaction and

usability research:Ready to deliver the promises[OL]1http://

www1cs1ucl1ac1uk/staff/J1McCarthy/pdf/library/eyetrack/

eye tracking in HCI1pdf

[11]Vertegaal R1Attentive user interfaces[J]1Communications of

the ACM,2003,46(3):30～33

[12]Bolt R1Conversing with computer[J]1Technology Review,

1985,88(2):34～43

[13]Nielsen J1Noncommand user interfaces[J]1Communications of

the ACM,1993,36(4):83～99

[14]Vertegaal R,Ding Y1The G AZE groupware system:Medicat2

ing joint attention in multiparty communication and collaboration

[A]1In:Proceedings of the ACM Conference on Human Fac2

tors in Computing Systems(CHI’99)[C]1Pittsburgh,N Y:

ACM Press,19991294～301

[15]Zhai S1What’s in the eyes for attentive input[J]1Communica2

tions of the ACM,2003,46(3):34～39[16]Maglio P,et al1Attentive agents[J]1Communications of the

ACM,2003,46(3):40～46

[17]Dong Shihai,Wang Jian,Dai Guozhong1Human2Computer In2

teraction and Multimodal User Interface[M]1Beijing:Science

Press,1999(in Chinese)

(董士海,王　坚,戴国忠1人机交互和多通道用户界面

[M]1北京:科学出版社,1999)

[18]Chen Min,Luo J un,Dong Shihai1ATOM—A task2oriented in2

terface architecture model[J]1Journal of Computer2Aided De2

sign&Computer Graphics,1996,8(Suppl):61～67(in Chi2

nese)

(陈　敏,罗　军,董士海1ATOM———面向任务的多通道界

面结构模型[J]1计算机辅助设计与图形学学报,1996,8(增

刊):61～67)

[19]Oviatt S,et al1Designing the user interface for multimodal

speech and gesture applications:State2of2the2art systems and re2

search directions[J]1Human Computer Interaction,2000,15

(4):263～322

[20]Dong Shihai,Xiao Bin,Wang Guoping1Multimodal user inter2

face for Internet[J]1Chinese Journal of Computers,2000,23

(12):1270～1275(in Chinese)

(董士海,肖　斌,汪国平1基于Internet的多通道用户界面

[J]1计算机学报,2000,23(12):1270～1275)

[21]Xiao Bin,Jiang Yuquan,Dong Shihai,A Web browser2based

multimodal interface for Netshopping[J]1Journal of Computer2

Aided Design&Computer Graphics,2001,13(2):168～172

(in Chinese)

(肖　斌,蒋宇全,董士海1一个基于Web浏览器的多通道

网上购物界面NetShop[J]1计算机辅助设计与图形学学报,

2001,13(2):168～172)

[22]Pu Jiantao,Wang Yue,Chen Wenguang,et al1

FreeVoiceCAD———A multimodal user interface prototype sys2

tem[J]1Journal of Computer Research and Development,

2003,40(9):1382～1388(in Chinese)

(普建涛,王　悦,陈文广,等1多通道用户界面原型系统

FreeVoiceCAD[J]1计算机研究与发展,2003,40(9):1382

～1388)

[23]World Wide Web Consortium1Multimodal interaction activity

[OL]1http://www1w31org/2002/mmi/,2003

[24]Card S,Moran T,Newell A1The keystroke2level model for us2

er performance time with interactive systems[J]1Communica2

tions of the ACM,1980,23(7):396～410

[25]Card S,Moran T,Newell A1The Psychology of Human Com2

puter Interaction[M]1New Jersey:Lawrence Erlbaum Associ2

ates,1983

[26]Newell A,Simon H1Human Problem Solving[M]1Englewood

Cliffs,NJ:Prentice2Hall,1972

[27]John B,et al1The G OMS family of user interface analysis tech2

niques:Comparison and contrast[J]1ACM Transaction on

Computer2Human Interaction,1996,3(4):320～351

[28]Vredenburg K,Isensee S,Righi C1User2Centered Design:An

Integrated Approach[M]1New Jersey:Prentice Hall,2001[29]ISO13407—1999　Human2centred design processes for inter2

active systems[S]

[30]Carroll J1Making Use:Scenario2Based Design of Human2Com2

puter Interactions[M]1Cambridge,MA:MIT Press,2000 [31]Carroll J1Scenario and design cognition[A]1In:Proceedings of

the5th Asia Pacific Conference on Computer Human Interaction

(APCHI2002)[C]1Beijing:Science Press,2002123～46 [32]World Wide Web Consortium1Multimodal interaction use cases

[OL]1http://www1w31org/TR/2002/NO TE2mmi2use2cases2

20021204/

[33]Norman D1Cognitive Engineering[M]1In:Norman D,Drap2

er S,eds1User Centered System Design1Hillsdale,NJ:

Lawrence Erlbaum Associates,1986131～61

[34]Norman D1Things That Make Us Smart:Defending Human

Attributesin the Age of the Machine[M]1Reading,MA:Addi2

son2Wesley Longman Publ1Co1,Inc1,1993

[35]Hollan J,et al,Distributed cognition:Toward a new founda2

tion for human2computer interaction research[J]1ACM Trans2

actions on Computer2Human Interaction,2000,7(2):174～

196

[36]Stary C1Contextual prototyping of user interfaces[A]1In:

Proceedings of the Conference on Designing Interactive Systems:

Processes,Practices,Methods,and Techniques(DIS’2000),

New Y ork,20001388～395

[37]Hua Q,et al1Conceptual modeling for interaction design[A]1

In:Proceedings of HCI International2003,Crete,Greece,

20031351～355

[38]Balkrishnan R,et al1User interfaces for volumetric displays

[J]1IEEE Computer,2001,34(3):37～46

[39]Fugen C,et al1LingWear:A mobile tourist information system

[OL]1http://hlt20011org,2001

[40]Siewiorek D1Pervasive and context aware computing[A]1In:

Proceedings of the5th Asia Pacific Conference on Computer Hu2

man Interaction(APCHI2002),Beijing:Science Press,20021

3～11

[41]Buyukkokten O,et al1PowerBrowser:Efficient Web browsing

for PDAs[A]1In:Proceedings of the ACM Conference on Hu2

man Factors in Computing Systems(CHI2000),Netherlands,

20001430～437

[42]Wang Y,et al1Research of context awareness in handheld&

mobile computing[A]1In:Proceedings of the5th Asia Pacific

Conference on Computer Human Interaction(APCHI2002)

[C]1Beijing:Science Press,20021401～406

[43]Coen M1The Future of human2computer interaction or how I

learned to stop worrying and love my intelligent room[J]1IEEE

Intelligent Systems,1999,14(2):8～10

[44]Johnson B,et al1The interactive workspaces project:Experi2

ences with ubiquitous computing rooms[J]1IEEE Pervasive

Computing,2002,1(2):67～74

[45]Aware Home Research Institute[OL]1http://www1cc1gate2

ch1edu/fce/ahri

[46]G AIA2Active Spaces for Ubiquitous Computing[OL]1http://

choices1cs1uiuc1edu/gaia/index1html

[47]Shafer S,et al1The new easyliving project at Microsoft re2

search[A]1In:Proceedings of the1998DARPA/NIST Smart

Spaces Workshop,G aithersburg,MD,19981127～130 [48]IBM Research Blue Space1http://www1research1ibm1com/

bluespace/index1html

[49]Streitz N,et al1i2Land:An interactive landscape for creativity

and innovation[A]1In:Proceedings of ACM Conference on

Human Factors in Computing Systems(CHI’99)[C]1New

Y ork:ACM Press,19991120～127

[50]Shi Y,et al1Smart remote classroom:Creating a revolutionary

real2time interactive distance learning system[A]1In:Fong J,

ed1Proceedings of the1st International Conference on Web2

Based Learning[C]1Berlin:Springer,20021130～141 [51]Maybury M1Intelligent user interfaces:An introduction[A]1

In:Proceedings of International Conference on Intelligent User

Interfaces(IU I’99),Los Angeles,CA,199913～4

[52]Shneiderman B1Direct manipulation for comprehensible,pre2

dictable and controllable user interfaces[A]1In:Proceedings of

International Conference on Intelligent User Interfaces

(IU I’97),Orlando,Florida,1997133～39

[53]Schmidt A,et al1There is more to context than location[A]1

In:Proceedings of Workshop on Interactive Applications of Mo2

bile Computing(IMC’98)[C]1Rostock,G ermany:Neuer

Hochschulschrift Verlag,199813～901

[54]Schmidt A,et al1Advanced interaction in context[A]1In:

Proceedings of the1st International Symposium on Handheld and

Ubiquitous Computing[C]1K arlsruhe,G ermany:Springer

Verlag,19991101

[55]Kumar S,et al1The adaptive agent architecture:Achieving

fault2tolerance using persistent broker teams[A]1In:Proceed2

ings of the4th International Conference on Multi2Agent Systems

(ICMAS2000),Boston,MA,20001159～166

[56]International Organization for Standardization[OL]1http://

www1iso1org,2003[57]Home of the User Interface Markup Language[OL]1http://

www1uiml1org,2003

[58]Nielsen J1Usability Engineering[M]1San Diego:Academic

Press,1993

[59]Ivory M,et al1The state of the art in automating usability eval2

uation of user interfaces[J]1ACM Computing Surveys,2001,

33(4):470～516

[60]Liu Z,et al1An organizational human2centeredness assessment

at Chinese software enterprises[A]1In:Proceedings of the5th

Asia Pacific Conference on Computer Human Interaction

(APCHI2002)[C]1Beijing:Science Press,20021251～259 [61]Weiser M1The computer for the21st century[J]1Scientific

American,1991,265(3):94～104

[62]MIT project Oxygen[OL]1http://oxygen1lcs1mit1edu/

[63]G arlan D,et al1Project Aura:Toward distraction2free perva2

sive computing[J]1IEEE Pervasive Computing,2002,1(2):

22～31

[]Wang Yu1SU I:New generation user interface techniques[J]1

PC World China,2001,(5):19～20(in Chinese)

(王　玉1SU I:新一代用户界面技术[J]1微电脑世界,2001

(5):19～20

[65]Poupyrev I,et al1Developing a generic augmented2reality inter2

face[J]1IEEE Computer,2002,35(3):44～50

[66]Turk M1Perceptual user interface[J]1Communications of the

ACM,2000,43(3):32～34

[67]Ishii H,et al1Tangible bits:Towards seamless interfaces be2

tween people,bits and atoms[A]1In:Proceedings of the ACM

Conference on Human Factors in Computing Systems(CHI’97)

[C]1New Y ork:ACM Press,19971234～241

[68]Dam V1Post2WIMP user interface[J]1Communications of the

ACM,1997,40(2):63～67

[69]Lyytinen K,et al1Issues and challenges in ubiquitous comput2

ing:Introduction[J]1Communications of the ACM,2000,45

(12):62～65

31

1期董士海:

人机交互的进展及面临的挑战