多传感器信息融合及其应用综述

　控　制　与　决　策

CON T ROL　A N D　D EC IS ION　

2001年9月

Sep t.2001

　　文章编号:100120920(2001)0520518205

多传感器信息融合及其应用综述

王耀南,李树涛

(湖南大学电气与信息工程学院,湖南长沙410082)

摘　要:多传感器数据融合广泛应用于自动目标识别、战场监视、自动飞行器导航与控制、机器人、工业

过程控制、遥感、医疗诊断、图像处理、模式识别等领域。介绍了多传感器数据融合技术的概念、处理模

型、融合层次等问题,综述了近年来多传感器融合技术的研究进展和应用,预测了未来的发展趋势。

关键词:多传感器;信息融合;复杂工业过程控制

中图分类号:T P14　　　　文献标识码:A

M ultisen sor I nformation Fusion and Its Application:A Survey

W A N G Y ao2nan,L I S hu2tao

(Co llege of E lectrical and Info r m ati on Engineering,H unan U niversity,Changsha410082,Ch ina)

Abstract:M ultisenso r info r m ati on fusi on is being app lied to a w ide variety of fields such as autom ated

target recogniti on,battlefield surveillance,guidance and contro l of autonomous veh icles,robo tics,in2

dustrial p rocess contro l,m edical diagno stics,i m age p rocessing and pattern recogniti on.T he concep t of

m ultisenso r info r m ati on fusi on is introduced,and the p roblem of p rocessing model and fusi on level of

m ultisenso r info r m ati on fusi on are discussed.A review of the state of the art and developm ent trend are

p resented.

Key words:m ultisenso r;info r m ati on fusi on;comp lex industrial p rocess contro l

1　引　　言

　　近年来,多传感器信息融合技术不论在军事领域还是在民事领域都受到了广泛的关注[1～3]。这一技术正广泛应用于自动目标识别、战场监视、自动飞行器导航、机器人、遥感、医疗诊断、图像处理、模式识别和复杂工业过程控制等领域。多传感器数据融合是指对不同知识源和传感器采集的数据进行融合,以实现对观测现象更好地理解。从表面上看,多传感器融合的概念很直观,但实际上要真正实现一个多传感器融合系统是比较困难的。异质传感器数据的建模、协同与解释都是富有挑战性的工作。尽管有很多困难,但由于多传感器融合系统具有改善系统性能的巨大潜力,人们还是投入了大量的精力进行研究。

　　图1是多传感器数据融合的示意图,传感器之间的冗余数据增强了系统的可靠性,传感器之间的互补数据扩展了单个的性能。一般而言,多传感器融合系统具有以下优点:

　　1)提高系统的可靠性和鲁棒性;

　　2)扩展时间上和空间上的观测范围;

　　3)增强数据的可信任度;

　收稿日期:2000206216;修回日期:2000209213

　基金项目:国家863高技术计划项目(8632511298452002)

　作者简介:王耀南(1957—),男,云南昆明人,教授,博士生导师,从事人工智能、智能控制和多传感器图像处理等研究;李树涛(1972—),男,辽宁锦县人,博士生,从事多传感器融合、图像处理和模式识别等研究。

图1　多传感器融合示意图

　　4)增强系统的分辨能力。

　　在设计多传感器融合系统时,应考虑以下一些基本问题:

　　1)系统中传感器的类型、分辨率、准确率;　　2)传感器的分布形式;

　　3)系统的通信能力和计算能力;　　4)系统的设计目标;

　　5)系统的拓扑结构(包括数据融合层次和通信结构)。

2

　多传感器信息融合系统的处理模型

图2　多传感器信息融合处理模型

　　图2是美国数据融合工作小组提出的数据融合处理模型[4],当时是面向军事应用而研究的,但它对人们理解数据融合的基本概念却有着重要的影响。

　　该模型每个模块的基本功能如下:

　　1)数据源:包括传感器及其相关数据(如数据库和人的先验知识等)。

　　2)源数据预处理:进行数据的预筛选和数据分配,以减轻融合处理中心的计算负担。有时需要为融合中心提供最重要的数据。

　　3)目标评估:融合目标的位置、速度、身份等参数,以达到对这些参数的精确表达。主要包括数据配准、跟踪和数据关联、辨识。

　　4)态势评估:根据当前的环境推断出检测目标与事件之间的关系,以判断检测目标的意图。

　　5)威胁评估:结合当前的态势判断敌方的威胁程度和敌我双方的攻击能力等。这一过程应同时考虑当前的政治环境和对敌策略等因素,所以较为困难。

　　6)总过程评估:监视系统的性能,辨识改善性能所需的数据,进行传感器资源的合理配置。

　　7)人机接口:提供人与计算机间的交互功能,如人工操作员的指导和评价、多媒体功能等。

　　8)数据库管理系统:主要完成系统数据的存储、检索、压缩和保护等功能。

3　多传感器信息融合的层次问题

　　对于多传感器融合层次的问题,人们存在着不同的看法[2～3]。本文主要介绍普遍为学者们所接受的3层融合结构,即数据层、特征层和决策层(见图3)。

　　数据层融合如图3(a )所示,首先将全部传感器

的观测数据融合,然后从融合的数据中提取特征向量,并进行判断识别。这便要求传感器是同质的(传感器观测的是同一物理现象),如果多个传感器是异质的(观测的不是同一个物理量),

那么数据只能在

图3　多传感器信息融合的3种层次结构

(a )　数据层融合　　(b )　特征层融合　　(c )　决策层融合

第16卷第5期王耀南等:多传感器信息融合及其应用综述519

　　特征层融合如图3(b)所示。每种传感器提供从观测数据中提取的有代表性的特征,这些特征融合成单一的特征向量,然后运用模式识别的方法进行处理。这种方法对通信带宽的要求较低,但由于数据的丢失使其准确性有所下降。

　　决策层融合是指在每个传感器对目标做出识别后,将多个传感器的识别结果进行融合,如图3(c)所示。由于对传感器的数据进行了浓缩,这种方法产生的结果相对而言最不准确,但它对通信带宽的要求最低。

　　对于多传感器融合系统特定的工程应用,应综合考虑传感器的性能、系统的计算能力、通信带宽、期望的准确率以及资金能力等因素,以确定哪种层次是最优的。另外,在一个系统中,也可能同时在不同的融合层次上进行融合。

　　除上述3层融合结构外,还有如下几种融合层次分类方法:

　　1)4层结构方式:信号级融合,像素级融合,特征级融合和符号级融合;

　　2)以输入输出数据类型进行分类的方式:数据入2数据出融合,特征入2特征出融合,决策入2决策出融合,数据入-特征出融合,特征入2决策出融合,数据入2决策出融合。

4　多传感器信息融合的研究进展

4.1　多传感器信息融合的应用进展

　　多传感器数据融合系统的应用可大致分为军事应用和民事应用两大类。

　　军事应用是多传感器数据融合技术诞生的源泉,主要用于包括军事目标(舰艇、飞机、导弹等)的检测、定位、跟踪和识别[5～7]。这些目标可以是静止的,也可以是运动的。具体应用包括海洋监视、空对空、地对空防御系统。海洋监视系统包括潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别,典型的传感器包括雷达、声纳、远红外、综合孔径雷达等。空对空、地对空防御系统的基本目标是检测、跟踪、识别敌方飞机、导弹和反飞机武器,典型的传感器包括雷达、ES M接收机、远红外、敌我识别传感器、电光成像传感器等。

　　近年来,多传感器融合系统在民事应用领域得到了较快的发展,主要用于机器人、智能制造、智能交通、医疗诊断、遥感、刑侦和保安等领域。机器人主要使用电视图像、声音、电磁等数据的融合来进行推理,以完成物料搬运、零件制造、检验和装配等[8,9]工作。智能制造系统包括各种智能加工机床、工具和材料传送装置、检测和试验装置以及装配装置。目的是在制造系统中用机器智能来代替人进行智能加工、状态监测和故障诊断[10]。智能交通系统采用多传感器数据融合技术,实现无人驾驶交通工具的自主道路识别、速度控制以及定位[11,12]。在以往的医疗诊断中,外科医生常用视觉检查以及温度计和听诊器来帮助诊断。现在出现了更为复杂而有效的医用传感技术,如超声波成像、核磁共振成像和X2射线成像等。将这些传感器的数据进行融合能更准确地进行医疗诊断,如肿瘤的定位与识别[13,14]。

　　遥感在军事和民事领域都有一定的应用,可用于监测天气变化、农作物收成等。多传感器融合在遥感领域中的应用,主要是通过高空间分辨率全色图像和低光谱分辨率图像的融合,得到高空间分辨率和高光谱分辨率的图像[15],融合多波段和多时段的遥感图像来提高分类的准确性[16,17]。多传感器数据融合技术在刑侦中的应用,主要是利用红外、微波等传感设备进行隐匿武器、毒品等的检查[3]。将人体的各种生物特征如人脸、指纹、声音、肛膜等进行适当的融合,能大幅度提高对人的身份识别认证能力[18,19],这对提高安全保卫能力是很重要的。

4.2　多传感器信息融合实现方法的进展

成熟的多传感器信息融合方法主要有:经典推理法、卡尔曼滤波法、贝叶斯估计法、D em p ster2 Shafer证据推理法、聚类分析法、参数模板法、物理模型法、熵法、品质因数法、估计理论法和专家系统法等。

近年来,用于多传感器数据融合的计算智能方法主要包括:模糊集合理论[20,21]、神经网络[22,23]、粗集理论、小波分析理论[24～26]和支持向量机等[27]。

　　目前,人们已开始将多传感器信息融合应用于复杂工业过程控制系统,文献[28]提出的复杂工业过程综合集成智能控制系统便是其中的一种。复杂工业过程多传感器信息融合系统如图4所示。图中时间序列分析、频率分析、小波分析从各传感器获取的信号模式中提取出特征数据,同时将所提取的特征数据输入神经网络模式识别器;神经网络模式识别器进行特征级数据融合,以识别出系统的特征数

520控　　制　　与　　决　　策2001年图4　复杂工业系统的多传感器信息融合系统

据,并输入到模糊专家系统进行决策级融合;专家系统推理时,从知识库和数据库中取出领域知识规则和参数,与特征数据进行匹配(融合),最后决策出被测系统的运行状态、设备工作状况和故障等。

5　未来展望

　　随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算的软件和硬件技术等相关技术的发展,多传感器数据融合必将成为未来复杂工业系统智能检测与数据处理的重要技术。我们应积极借鉴国外的研究成果,结合我国的实际情况,大力开展这方面的研究。作者认为,今后多传感器信息融合技术的主要研究方向应包括以下几方面:

　　1)改进融合算法以进一步提高融合系统的性能。目前,将模糊逻辑、神经网络,进化计算、粗集理论、支持向量机、小波变换等计算智能技术有机地结合起来,是一个重要的发展趋势[29]。如何利用集成的计算智能方法(如模糊逻辑+神经网络,模糊逻辑+进化计算,神经网络+进化计算,小波变换+神经网络等),提高多传感器融合的性能是值得深入研究的课题。

　　2)如何利用有关的先验数据提高数据融合的性能,也是需要认真研究的一个问题。

　　3)开发并行计算的软件和硬件,以满足具有大量数据且计算复杂的多传感器融合的要求。

　　4)针对具体的应用情况,正确地评价多传感器信息融合的结果。

参考文献:

[1]W altz E,L ilnas J.M ultisenso r data fusi on[M].

Bo ston:A rtech House,1990.

[2]H all D L,L linas J.A n introducti on to m ultisenso r data

fusi on[J].P roc IEEE,1997,85(1):6223.

[3]V arshney P K.M ultisenso r data fusi on[J].J Eclec

Comm u Eng,1997,9(6):2452253.

[4]W h ite F E.D ata fusi on lexicon:D ata fusi on subpanel

of the j o int directo rs of labo rato ries technical panel fo r C3[R].San D iego,1991.

[5]W altz E,Buede D M.D ata fusi on and decisi on suppo rt

fo r comm and and contro l[J].IEEE T rans on Syst, M an&Cybern,1986,16(6):8652879.

[6]Comparato V G.Fusi on——T he key to tactical m issi on

success[J].SP IE,1988,93(1):227.

[7]H am ilton M K,K i pp T A.A TR arch itecture fo r m ulti2

senso r fusi on[J].SP IE,1996,275(5):1262133.

[8]A bidiM A,Gonzalez R C.D ata fusi on in robo tics and

m ach ine intelligence[M].Bo ston:A cadem ic,1992. [9]M urphy R R.D emp ster2shafer theo ry fo r senso r fusi on

in autonomous mobile robo ts[J].IEEE T rans on Robo t

A utom,1998,14(2):1972206.

[10]李圣怡,吴学忠,范大鹏.多传感器融合理论及在智能

制造系统中的应用[M].长沙:国防科技大学出版社,

第16卷第5期王耀南等:多传感器信息融合及其应用综述521

1998.

[11]M urphy R R.Senso r and info r m ati on fusi on fo r i m2

p roved visi on2based veh icle guidance[J].IEEE Ex2 pert,1998,13(6):49256.

[12]N eira J,T ardo s J D,Ho rn J et al.Fusing range and

intensity i m age fo r mobile robo t localizati on[J].IEEE

T rans on Robo t A utom,1999,15(1):76284.

[13]Katyal S,K ram er E L,N oz M E et al.Fusi on of i m2

m uno scinti graphy SPECT w ith CT of the chest in pa2 tients w ith non2s m all cell lung cancer[J].Cancer R es,

1995,55(S):575925763.

[14]H ernandez A I,Garrault G,M o ra F et al.M ultisen2

so r fusi on fo r atrial and ventricular activity detecti on

in co ronary care monito ring[J].IEEE T rans on

B i om ed Eng,1999,46(10):118621190.

[15]N unez J.M ultireso luti on2based i m age fusi on w ith ad2

ditive w avelet decompo siti on[J].IEEE T rans on Geo sci R emo te Sening,1999,37(3):120421211. [16]B ruzzone L,P rieto D F,Serp ico S B.A neural2statis2

tical app roach to m ultitempo ral and m ultisource re2 mo te2sensing i m age classificati on[J].IEEE T rans on Geo sci R emo te Sening,1999,37(3):135021359.

[17]Benedik tsson J A,Kanellopoulo s I.C lassificati on of

m ultisource and hyperspectral data based on decisi on

fusi on[J].IEEE T rans on Geo sci R emo te Sening,

1999,37(3):136721377.

[18]Ben2Yacoub S,A bdeljaoued Y,M ayo raz E.Fusi on of

face and speech data fo r person identity verificati on [J].IEEE T rans N eural N etw o rk s,1999,10(5):10652 1074.

[19]Jain A K.A m ulti m odal bi om etric system using finger2

p rints,face and speech[A].P roc2nd Int Conf A udi o2 video Based B i om etric Person A uthenticati on[C].

W ash ington,1999.1822187.

[20]R usso F,R amponi G.Fuzzy m ethods fo r m ultisenso r

data fusi on[J].IEEE T rans on Instrum M eas,1994,

43(2):2882294.

[21]Chanusso t J,M auris G,L am bert P.Fuzzy fusi on

techniques fo r linear features detecti on in m ultitempo2

ral SA R i m ages[J].IEEE T rans on Geo sci R emo te

Sening,1999,37(3):129221305.

[22]W an W,F raser D.M ultisource data fusi on w ith m ul2

ti p le self2o rganizing m ap s[J].IEEE T rans on Geo sci R emo te Sening,1999,37(3):134421349.

[23]J i m enez L O,M o rales2M o rell A,C reus A.C lassifica2

ti on of hyperdi m ensi onal data based on feature and de2 cisi on app roaches using p ro jecti on pursuit,m aj o rity vo ting and neural netw o rk s[J].IEEE T rans on Geo sci R emo te Sening,1999,37(3):136021365.

[24]M allat S G.A theo ry fo r m ultireso luti on signal de2

compo siti on:T he w avelet rep resentati on[J].IEEE

T rans on Pattern A nal M ach ine Intell,19,11(7):

6742693.

[25]Zhang Z,B lum R S.A catego rizati on of m ultiscale2de2

compo siti on2based i m age fusi on schem es w ith a perfo r2 m ance study fo r a digital cam era app licati on[J].P roc IEEE,1999,87(8):131521326.

[26]L i S T,W ang Y N.M ultisenso r i m age fusi on using

discrete m ulti w avelet transfo r m[A].P roc of the3rd

Int Conf on V isual Computing[C].M exico,2000.932 103.

[27]Ben2Yacoub S,A bdeljaoued Y,M ayo ran E.Fusi on of

face and speech data fo r person identity verificati on [J].IEEE T rans on N eural N etw o rk s,1999,10(5):

106521074.

[28]王耀南.国家863计划项目验收技术报告——复杂工

业过程的综合集成智能控制及应用[R].长沙:湖南大学,2000.1502200.

[29]王耀南.计算智能数据处理技术及其应用[M].长沙:湖

南大学出版社,1999.18221.

下　期　要　目

递阶优化问题理论及其算法研究与进展向　丽

…………………………………………………………………

机器人视觉伺服综述赵清杰　等…………………………………………………………………………………

不确定线性系统LQ设计的鲁棒性分析薛安克　蒋　楠

………………………………………………………

一类指数型变量均值的B ayes递进修正估计熊海林　等

………………………………………………………

新型输入加权预测控制器欣　鲍立威

………………………………………………………………………

时滞系统采样迭代学习控制方　忠　等

…………………………………………………………………………

稳健二进神经网络的几何训练张军英　保　铮

…………………………………………………………………

移动机械手的跟踪控制董文杰　徐文立…………………………………………………………………………

522控　　制　　与　　决　　策2001年