
第8期
8月
华中科技大学学报(自然科学版)
J.HuazhongUniv.ofSci.&Tech.(NaturalScienceEdition)
V01.36No.8
Aug.2008基于Harris—Affine和SIFT特征匹配
的图像自动配准
李玲玲h’2李翠华1b曾晓明1a李保3
(1厦门大学a数学科学学院,b信息科学与技术学院,福建厦门361005;2郑州航空
工业管理学院计算机科学与应用系,河南郑州450015;396550,河南洛阳471031)
摘要:针对大失配多传感器图像,提出了一种基于SIFT(scaleinvariantkeypoints)和Harris—Affine(H—A)互补不变特征匹配的自动配准算法.算法应用SIFT和H—A两种具有互补特性的局部不变特征,根据最近邻特征点距离与次近邻特征点距离之比确定初始匹配点对,然后利用马氏距离的仿射不变性删除误匹配特征点对,据此求取2幅源图像间的仿射变换参数.使用估计的变换矩阵把待配准图像上的所有点映射到参考图像,并对其进行重采样,实现图像的配准.实验结果表明:该算法能够快速高精度实现大失配图像的自动配准.
关键词:图像配准;S1FT特征;Harris—Affine特征;马氏距离
中图分类号:TN911.73文献标识码:A文章编号:1671—4512(2008)08一0013一04
AnautomaticimageregistrationmethodbasedonSIFT
andHarris-Affjnefeaturesmatchjn2
LiLi咒gZi竹gh’2LiC“i^“口16ZP,29Xi口D行zi咒g1aLiB乜o3
(1aSchoolofMathematicalScience,XiamenUniversity,Xiamen361005,China,bSchoolofInformationScienceandTechnology,XiamenUniversity,Xiamen361005,China;2DepartmentofComputer
ScienceandApplication,ZhengzhouInstituteofAeronauticalIndustryManagement,
Zhengzhou450015,China;3No.96550PLAUnit,Luoyang471031,HenanChina)
Abstract:AnautomaticimageregistrationalgorithmbasedonthecomplementarySIFTandHarris—Affine(H—A)localinvariantfeatureswasproposedforlargemisalignmentmulti—sensorimages.Inthisalgorithm,SIFTfeatureswerecomplementedwithH—Afeaturesandtheratioofthefirstandsec—ondnearestneighbordistancewereusedto
setup
theinitialcorrespondences.TheaffineinvariantofTⅥahalannobisdistancewasusedtoremovethemismatchedfeaturepoints.Withthiscorrespondenceofthepoints,theaffinematrixbetweentwodifferentimagescouldbedetermined.Allpointsinthesensedimageweremappedtothereferenceusingtheestimatedtransformationmatrixandthecorre—spondinggrayleVelwasassignedbyre—samplingtheimageinthesensedimage.Experimentsdemon—stratedthefeasibilitvofthismethod.
Keywords:imageregistration;scaleinvarianskeypoints(SIFT)feature;Harris—Affine(H—A)fea—ture:Mahalannobisdistance
目前在图像的配准方面已开展了许多研究工作,提出了多种图像配准方法‘1 ̄31.现有的基于特征的配准方法适用的图像大都是失配程度不大的图像,但是在工程应用中,所获得的不同传感器的图像往往存在尺度变化很大、有较大的旋转角度和畸变等大的失配情况,在这些场合中,已有算法要么失败,要么效率非常低.针对这个问题,本文提出了一种基于SIFT和Harris—Affine(H—A)互
收稿日期:2007一09一01.
作者简介:李玲玲(1973一),女,博士,E-mail:1lling@xmu.edu.cn.
基金项目:国家高技术研究发展计划资助项目(2006AA012129);国家重点基础研究发展计划资助项目(2007CB311005)}河南省教育厅自然科学基础研究计划资助项目(2007510023);985工程二期科技创新
平台项目;福建省自然科学基金资助项目(A0710020).
万方数据・14・华中科技大学学报(自然科学版)第36卷
补特征匹配的多传感器图像自动配准方法.算法
基于在目标识别和匹配方面取得了显著进展的
H—A和SIFT不变特征,利用近邻比和马氏距离
的仿射不变性实现特征匹配,进而实现大失配图
像的配准.该算法在保证亚像素配准精度的同时,
能够较快地实现大失配图像的自动配准.
1基于SIFT和H—A互补特征匹配
的多传感器图像配准算法
本文提出算法的总体框架如图1所示,它主
要由不变特征检测与描述、特征匹配、变换参数估
计和图像数据重采样几个部分组成.
i蓉孺‘与描述L…一
待配准图像参考图像l、、、/【…
f./\.f
检测H.A特征检测sIFT特征
I
sIFT描述不变特征llsIFT描述不变特征
I
特近邻匹配l
世
丌广
2
误匹配角点对删除I
配
I
变换参数估计l
重采样
图1算法总体框架
1.1SIFT和H—A互补不变特征检测与描述选择特征是配准算法中非常重要的步骤.当图像间存在大的失配时,仅利用图像的单一特征匹配精度很低,成功率不高.考虑到H—A[41特征具有仿射不变性(包括大尺度的变化),能够检测出包含大量图像结构信息的兴趣点.另外,SIFT[5]特征具有对旋转、尺度缩放、亮度变化的不变性,及对视角变化、仿射变换、噪声一定程度的稳定性,它能够表达图像中灰度一致和平滑变化的区域.因此,有效集成两类互补的不变特征,从而增加不同类型的检测区域,使得匹配增强,配准精度进一步提高.
H—A特征检测首先计算多尺度的Harris兴趣点,选择在多尺度下具有局部最大的兴趣点,得到一系列对尺度、旋转、平移不变,对照明及一定程度的视点改变稳定的点,然后通过迭代算法修改点的位置、尺度及每一个点的邻域,从而把这些尺度不变的点扩展成具有仿射不变的特征点.对应的尺度和邻域仿射形状决定了每个点的仿射不变区域.
SIFT不变特征检测是通过对图像进行不同
采样形成金字塔分层结构,金字塔分层结构用不同滤波因子的高斯函数进行滤波,将相邻的高斯滤波图像相减形成高斯差分金字塔分层结构(differenceofGaussians,D()G),对DOG尺度空间每个点与相邻尺度和相邻位置的点逐个进行比较,找出极值点作为侯选特征点,再将低对比度和边缘候选特征点去掉,得到稳定的特征点,通过曲面拟合的方法对特征点进行进一步的精确定位,并把关键点邻域内各点梯度方向的直方图中最大值所对应的方向作为每个特征点的方向.特征点检测完毕,每个SIFT特征点有3个信息:位置、所处尺度和方向.
对已探测的SIFT和H—A不变特征必须进行描述,才能实现特征点的匹配.实验和性能评价表明:当照明、仿射、模糊等变换程度较大时,SIFT最稳定、性能最佳[6].这里使用SIFT特征描述子对检测到的SIFT和H—A互补特征进行描述.SIFT特征描述过程为:对任意一个特征点,首先将坐标轴旋转为特征点的方向,以确保旋转不变性.在所在的尺度空间取以特征点为中心的16×16像素大小的邻域,将此邻域分为4×4个子区域,对每个子区域计算梯度方向直方图(直方图均匀分为8个方向).然后对4×4个子区域的8方向梯度直方图根据位置依次排序,形成一个128维的特征向量.这种邻域方向性信息联合的思想增强了算法抗噪声的能力,同时对于含有定位误差的特征匹配也提供了较好的容错性.此时SIFT特征向量己经去除了尺度变化、旋转等几何变形因素的影响.最后,继续将特征向量的长度归一化,进一步去除光照变化的影响.
1.2不变特征匹配
不变特征的匹配策略分2步进行:a.根据最近邻特征点距离与次近邻特征点距离之比确定初始匹配点对;b.利用马氏距离的仿射不变性删除误匹配特征对.
由于使用128维的高维度来对特征点进行描述,特征点描述符之间具有很大的差异性,因此直接利用文献[6]提出的最近邻特征点距离与次近邻特征点距离之比进行初始匹配.假设不变特征B的描述子D。是不变特征A的描述子DA的最近邻,不变特征C的描述子Dc是DA的次近邻,若f|D。一D。lJ川D。一D。||<£,则认定2个不变特征是匹配的.因为正确的匹配应该比错误的匹配有着明显的最短最近邻距离,所以使用该策略可以得到稳定的初始匹配.
在所建立的初步匹配特征对中可能存在误匹
万方数据第8期李玲玲等:基于Harris—Affine和SIFT特征匹配的图像自动配准・15・
配特征对.这些误匹配的点对的存在极大地影响配准仿射变换参数的求取,使配准结果出现偏差,因此必须删除这些误匹配点对.这里,利用马氏距离仿射变换具有不变性这一性质来删除误匹配特征对.
对于由咒个点构成的样本空间x={(z-,y1)7,(z2,yz)1,…,(z。,y。)T},其中任意一样本点工i=(z:,yi)7到样本均值p一(肚,卢,)T的马氏距离
d,= ̄/(x;一p)f1(置一II‘)1,(1)式中C.1表示c的逆矩阵,c表示协方差矩阵.样本均值II‘和协方差矩阵C分别定义为:
p=[即p,]7=『∑珀∑y。]1/咒,
L
l=li;1一c—f妻PV。b一即yi一卢,]池
、i=1Lyz——卢yJ,f假定待配准图像J。和参考图像图像Iz之间满足仿射变换关系,x,一{(z¨,y。)T,(z,:,y12)7,…,(z1。,yl。)T}与.配={(z2l,y21)T,(z22,y:。)T,…,(z:。,y。)T)分别为两图像问的一组对应点对,根据式(1)分别计算出墨和x2对应的马氏距离dl={d…),dl(2),…,d1(m))和d2一{d2(1),d2(2),…,d2(。)).
定义j,和J:间的一组对应点对X,={(zll,y11)T,(卫12,y12)T,…,(z1。,y1。)1)与x2一{(z2】,j,21)T,(z22,y22)T,…,(z2。,y2。)T)之间的马氏距离方差和S一∑(d川,一d。∽)2/4.
根据马氏距离有仿射不变性[7],有d。=dz,S=0.实际应用中,可以认为当一组对应点对间的标准差S很小时,这组点对具有仿射不变性.由此,利用马氏距离的仿射不变性删除误匹配特征对的步骤如下:
a.设定马氏距离方差和的门限值^。(^,是一个接近。的数值.实验结果表明识别结果对它的取值不敏感,实验中,取^。=0.002).在初步匹配的特征点对中,任取4个点对作为一组,根据式(1)分别计算出此组4个点对的马氏距离d-={d“1),dl(2),d1(3),d1(4))和d220d2(”,d2(2),d。。,dzc。,),计算出对应马氏距离方差和S(m=4),保留所有S小于^。的一组点对.
b.在保留的点对中,对点对出现次数进行投票,舍去票数为O的点对,将剩下的点对按票数从大到小排序,将票数最多的前4个点对作为基础点对集,剩余点对记录在扩充点对集中.
c.设定门限值^:(^。是接近O的数值.识别结果对它的取值不敏感.实验中取矗:=o.005).将扩充点对集中的任一点对加入基础点对集中,计算扩充后的基础点对集的马氏距离方差和S(优等于基础点对集个数加1).选出使S最小且不大于^。的点对扩充到基础点对集中.依此方法继续扩充基础点对集,最后无法再扩充的基础点对集即为所求的最终匹配特征集.
1.3变换参数估计和重采样
算法采用全局仿射变换作为图像配准的空间变换模型.2幅图像中匹配的特征点对(至少3对)确定之后,就可以用最小二乘法(LSM)拟合出仿射变换的6个最佳参数解(口。,‰,口。,n。,以,£,).确定了变换参数之后,需要对待配准图像进行重采样,以便得到同一坐标系下的待配准图像和参考图像.采用双线性插值方法,可以得到配准好的图像和镶嵌结果.
2实验结果与分析
在Pentium4,3.OGHzCPU,1.OGbitRAM的PC机上采用Matlab和C混合编程实现了本文提出的算法,针对大量有较大失配的相同或不同类型传感器图像进行了实验(限于篇幅,下文仅给出一组实验结果),并对算法的配准性能进行了实验分析和比较.实验中,最近邻特征点距离与次近邻特征点距离之比£取0.7.
2.1图像配准实验
图2是对一组同时存在大旋转角度和光照变化较大的航空图片配准结果.该组实验中,待配准的源图像分别为不同时刻、图像内容发生了改变的同一传感器图像,其中:图2(a)为叠加了SIFT特征的参考图像(机场打击前图像,大小为450×288);(b)为叠加了sIFT特征的待配准图像(机场打击后图像,大小为384×294),两源图像均为256级灰度量化;(c)为叠加了H—A特征的参考图像;(d)为叠加了H—A特征的待配准图像;(e)为标注了最终匹配特征对的参考图像;(f)为标注了最终匹配特征对的待配准图像((e)和(f)两图中有相同数字标号的是对应的一对匹配点对);(g)为配准后镶嵌的结果(重叠部分进行了简单的平均).求得的空间变换参数为(0.5638,一O.9316,0.5295,O.4467,292.2044。一47.5399).
2.2配准算法性能比较
文献[8]提出的“两步式图像自动配准方法”能够实现一定程度失配多传感图像的配准,因此
万方数据・16・华中科技大学学报(自然科学版)第36卷
在这里与该方法进行配准精度和速度两方面性能的比较.为了便于比较,采用与文献[8]中相同的精度计算方法和实验图像.该实验采用200×2oo像素lena图像作为参考图像,将该图像放大
(e)标注了最终匹配特征对的参考图像(f)标注了最终匹配特征对的待配准图像(g)配准后镶嵌的结果
图2配准实验结果
1.5倍并重采样,生成待配准图像,很显然,待配准图像和参考图像二者之间仅有尺度变换,不难求出其理想空间变换参数为(o.6667,o.o,O.o,0.6667,O.O,O.0).采用本文配准算法对图像进行配准,求得空间变换参数为(O.667o,0.0001,一o.0058,O.665o,一O.1234,一o.1441).分别用求得的空间变换参数和理想空间变换参数,将待配准图像进行变换,得到的对应像素位置平均误差约为o.3个像素,这一结果与文献[8]一样,都具有很高的配准精度,达到了亚像素级.为了与文献[8]的算法进行速度比较,采用与该文献相同的参考图像和待配准图像,并且在比较过程中使用相同的系统配置.参考图像是SPOT卫星的波段3图像,待配准图像是landsatTM的波段4图像,二者大小均为256×256像素,256级灰度量化.使用本文算法对该组图像配准所需时间为5.359s(算法完全移植到VC环境下会节省更多的时间),文献[8]的算法是在VC环境下设计的,使用该算法对该组图像配准的时间是46.67s.很明显,本文算法大大节省了时间.另外,文献[8]的算法对于光照差异较大的图像(例如图2中源图像)需要手工进行校正后才能进行配准,本文的算法由于引入了对于光照具有稳定性的SIFT和H—A互补不变特征,能够很好地解决这方面的问题,无需手工校正,实现全自动配准.
参考文献
[1]KnopszF,MaintzJBA,ViergeverMA,etal
NormaIizedmutuaIinformationbasedregistration
using五一meansclusteringandshadingcorrection[J].MedicalImageAnalysis,2006,10(3):432—439.
[2]Ville0,JanneH.Imageregistrationusingblur-in—
variantphasecorrelation[J].IEEESignalProcessing
Letters,2007,14(7):449—452.
[3]LuccheseL,Leo“nS,cortelazzoGM.Estimationof
two-dimensionalaffinetransformationsthroughpolarcurvematchinganditsapplicationtoimagemosaick—ingandremote-sensingdataregistration[J].IEEETransactionsonImageProcessing,2006,15(10):3008—3019.
[4]Mik01ajczykK,SchmidC.Scale&affineinvariant
interestpointdetectors[J].InternationalJournalof
ComputerVision,2004,60(1):63—86.
[5]LoweDG.Distinctiveimagefeaturesfromscale-in・
variantkeypoints[J].InternationalJoumalofcom—puterVision,2004,60(2):91一110.
[6]MikolajczykK,schmidC.Aperfomanceevaluationoflocaldescriptors[J].IEEETransactionsonPat—ternAnaIysisand
MachineIntelIigence,2005,27(10):1615—1630.
[7]陈昕,向键勇,杨宜禾.不变性理论用于空中目标的识别[J].红外与毫米波学报,1997.16(1):39—44.
[8]PengxM,DingMY,ZhouCP,eta1.Apracticaltw0-stepimageregistrationmethodfortw伊dimen—sionalimages[J].InfomationFusion,2004,5(4):
283—298.
万方数据
