一种基于光照补偿的图像增强算法

蒋永馨1,4,王孝通2,4,徐晓刚3,4,黄　华2,4

(1.海军大连舰艇学院基础部,辽宁大连116018;2.海军大连舰艇学院航海系,辽宁大连116018;

3.海军大连舰艇学院装备系统与自动化系,辽宁大连116018;

4.海军大连舰艇学院光电技术研究所,辽宁大连116018)

　　摘　要:　针对局部光照不均图像的增强问题,提出了一种新的基于光照补偿的图像增强方案.该算法将待增强

图像分别乘以不同的照射系数来获得不同光照补偿后的多幅图像,利用限邻域经验模式分解(Neighborhood Limited Em 2pirical M ode Decom position ,N LE M D )提取各光照补偿后图像的细节信息和照射分量,所有图像的细节信息叠加来增强纹理细节,照射分量用Retinex 算法进行增强处理,最后重构出增强结果.实验表明,该增强方案可以对图像的细节有效地增强,同时有效地解决了光照补偿问题.

关键词:　图像增强;光照补偿;E M D ;Retinex 中图分类号:　TP391　　　文献标识码:　A 　　　文章编号:　037222112(2009)4A 2151205

A Method for Image Enhancement Ba sed on Light Compensation

J I ANG Y ong 2xin 1,4,W ANG X iao 2tong 2,4,X U X iao 2gang 3,4,H UANG Hua 2,4

(1.Department o f Basic Sciences ,Dalian Naval Academy ,Dalian ,Liaoning 116018,China ;　　　　

2.Department o f Navigation ,Dalian Naval Academy ,Dalian ,Liaoning 116018,China ;

3.Department o f Automation ,Dalian Naval Academy ,Dalian ,Liaoning 116018,China ;

4.Institute o f Photoelectric Technology ,Dalian Naval Academy ,Dalian ,Liaoning 116018,China )

Abstract :　A method for image enhancement based on light compensation was proposed to enhance the image with imbal 2anced local illumination.Firstly ,to get several different luminance images ,original image multiplied by different factors.Then ,all images were decomposed by NL EMD.The details of images were added together to enhance texture of image.The illumination of the image was balanced by Retinex algorithm.Lastly ,we reconstructed the enhancing result.The experimental results indicate that detail of the image is enhanced effectively and the problem of light compensation is resolved effectively.

K ey words :　image enhancement ;light compensation ;empirical mode decomposition ;retinex

1　引言

　　图像增强是图像处理的一种基本手段,它往住是各

种图像分析与处理时的预处理过程,对于提高图像的质量起着重要的作用.它通过有选择地强调图像中某些信息而抑制掉另一些信息,以改善图像的视觉效果,将原图像转换成一种更适合于人眼观察和计算机进行分析处理的形式.在图像采集的过程中,光源的方向、明暗、色彩等都会对图像产生很大的影响.由于光照的不均匀使得图像的视觉效果较差,另外还使得图像中局部区域尤其是光照不足部分对比度较低,造成人眼无法对其特征进行识别,因此有必要通过某些算法改变图像的对比度.目前图像增强算法分两大类:全局增强和局部增强.全局增强是按照一定的规则通过改变整体亮度来达到对比度增强的目的,典型的算法有直方图均衡、非线性

变换(如对数变换)等[1,2].直方图均衡化有利于图像对

比度的提高,但由于该方法将原始图像中的多个灰度级合成一个新的灰度级,因此,原始图像中的一些细节,如纹理信息有可能丢失;某些图像,如直方图有高峰,经处理后对比度不自然的过分增强.非线性变换如对数变换,能够将图像中低灰度级部分进行拉伸,而将高灰度级部分进行动态压缩,能够有效地对图像进行光照补偿,但容易丢失一些边缘信息.总的来说,上述算法对整体对比度低的情况效果比较理想,对于局部低对比度图像处理的效果差.图像的局部增强理论上讲可以实现任意情况下的增强处理,在处理局部低对比度图像上效果要优于全局增强算法[3].但是局部增强算子实现较难,现实中很难获得适合各种图像的局部增强算子.

1971年Edw in Land 提出一个关于人类视觉系统如何调节感知到物体的颜色和亮度的模型-Retinex (视网

收稿日期:2008211222;修回日期:2008212216

基金项目:国家自然科学基金(N o.60473141);辽宁自然科学基金(N o.20082176);浙江大学CAD&CG 国家重点实验室开放课题(N o.A0906)

第4A 期2009年4月

电　　子　　学　　报

ACT A E LECTRONICA SINICA V ol.37　N o.4A

Apr.　2009

2　基于光照补偿的图像增强方案

　　Retinex增强算法将图像分解为照射分量和反射分量,通过改变其照射分量和反射分量在图像中的比例来达到增强图像的目的.照射分量估计是Retinex算法的核心,但还没有统一的理论模型,各种算法只是在实验中验证各自对光照补偿的有效性.现有各种Retinex 算法都假设图像的照明是平滑的,因此在全局上对图像的光照补偿具有较好的效果,但对于局部光照变化较大的图像,其通过光照补偿的图像增强效果不太理想.1998年Huang提出来E M D分解理论,它利用寻找局部极值将数据分解成不同频率特性的数据成分[7].光照不均匀的图像进行E M D分解之后,高频分量主要包含丰富的纹理信息,因此,利用这一特点,可以从E M D 分解结果的高频部分充分挖掘纹理细节,达到图像增强的目的.另外,E M D分解的剩余分量为低频信息,图像的光照变化信息主要集中在这一层.因此利用现有基于光照平滑性假设的Retinex算法对E M D分解后的剩余分量进行照射分量的估计,理论上可以获得更为精确的光照计算,从而可以获得更优的光照补偿效果.充分利用E M D的信息挖掘功能和Retinex的光照补偿功能,可以有效地实现对图像的增强.本文将待增强图像分别提高n1,n2,…,n m倍照射系数来补偿其在高光或阴影区域的光照,后分别将这些图像通过N LE M D分解后,将其中分解后亮度较均匀的剩余分量(即图像的照射分量)利用Retinex算法增强,即只调整图像的照射分量,使得图像的照射分量均匀.最后把反射分量和调整后的照射分量叠加,便得到增强后的图像.

211　R etinex算法

Retinex理论主要用于对光照不均匀的图像进行光照补偿.它的主要目标就是将一幅给定的图像S分解成两幅不同的图像:亮度图像L(x,y)和反射图像R (x,y).有如下公式表示

S(x,y)=R(x,y)・L(x,y)(1)　　在工程上,通常将式(1)两边进行对数运算将亮度图像和反射图像分离,即

log[S(x,y)]=log[R(x,y)]+log[L(x,y)](2)　　实际上,照射光L直接决定了一幅图像中象素所能达到的动态范围,而反射物体R则决定了一幅图像的内在性质.Retinex理论的实质就是从图像S中获得物体的反射性质R.由于场景中物体的照射亮度,对应于图像的低频部分,而场景中物体的反射亮度,对应于图像的高频部分,因此利用低通滤波器G(x,y)来估算图像S(x,y)的亮度图像L(x,y),进而抛开照射光L 的性质来获得物体本来的面貌,即:

log[R(x,

y)]=log

I(x,y)

L(x,y)

=log[I(x,y)]-log[I(x,y)3G(x,y)]

(3)

从而通过改变亮度图像和反射图像在原图像中的比例来达到增强图像的目的.具体增强过程如图1.

照明估计是Retinex算法的核心部分,还没有统一的理论模型.目前主要有SSR算法,MSR算法,M cCann’s Retinex算法等等.这些算法在实践中验证了对图像照明估计的有效性,并在图像的光照补偿中得到了广泛的应用,取得了一些满意的结果.尽管这些Retinex算法看起来不一样的,但实质上他们非常相似,都通过对原图像进行某种高斯平滑来提取亮度图像,并且通过复杂的计算使提取的亮度图像尽量准确.这些算法在进行照明估计时都假设图像中的照明是平滑的.

在实际生活中,例如偏光人脸图像、坑道或隧道中采集的图像、室内局部光照变化较大情况下的图像,这些图像局部亮度变化比较剧烈,并不满足现有Retinex 算法光照平滑性的假设.另外,在这类图像的暗处,通常对比度较低.因此,单纯利用Retinex算法不能有效对这类图像进行增强.

212　EMD算法

E M D是基于数据时域局部特征的、自适应的时频

251　　电　　子　　学　　报2009年

分析工具[7].其中每组数据分解为内蕴模式函数分量(Intrinsic M ode Functions ,IMF )和趋势项.设一维信号f (t ),可以把原始数据分解成n 个基本模式分量及一个剩余分量r n ,r n 可以是平均趋势或常量,即

f (t )=

∑n

i =1

imf

i

+r n (4)

　　2005年徐冠雷[8]提出了基于时频特性的不相容原理限邻域经验模式分解,采用基于局部自适应均值代替上下包络的N LE M D 算法.对于二维图像f (x ,y ),经验模式分解可描述为:

f (x ,y )=

∑L

i =1

imf i

(x ,y )

+r L (x ,y )(5)

式中imf i (x ,y )为第i 次分解的内蕴模式函数分量;r L (x ,y )为L 次分解后的剩余量.

E M D 可把复杂的数据分解成有限的、通常少量的

几个内蕴模式函数分量.由于E M D 分解是基于信号时域局部特征的,因此分解是自适应的,特别适合用来分析非平稳非线性过程,它能清晰地分辨出交叠复杂数据的内蕴模式.N LE M D 消除了以往各种E M D 算法图像分解时普遍存在的灰度斑现象,根据需要可以精细分解出各个层次信息.经过N LE M D 分解之后的图像,高频部分主要包含了图像的纹理细节,低频部分为图像中缓慢变化部分(如图2所示).如果将图像看成是反射分量和照射分量两部分,那么照射分量大部分都集中在剩余分量中.N LE M D 分解后的高频信息,并对剩余分量进行Retinex 增强,均衡图像中的照明分量,可以有效地实现图像的增强并平衡全局光照

.

213　基于N LEMD 和R etinex 的图像增强方案

本文先对待增强图像进行直方图均衡化处理,然后根据图像中的光照分布情况,将待处理图像的像素灰度值分别提高n 1,n 2,…,n m 倍得到m 幅新的图像.再将这m 幅图像以及原始图像协同N LE M D 分解和

Retinex 算法实现非均匀光照图像的增强.本方案从以

下四个方面来完成.

(1)对原图像进行直方图均衡化处理

(2)利用多幅提高照射系数的图像全局补偿待增强图像的照射光

将(1)处理结果分别提高n 1,n 2,…,n m 倍照射系数来得到多幅图像,目的是补偿图像的不同强度的照射光,从而可以得到更多的暗处或明处的细节信息,为后续的处理提供了更丰富的低频和高频信息.

(3)利用N LE M D 分解提取图像的照射分量和反射分量

在补偿过图像的照射光后,便可利用N LE M D 充分提取所有已知图像的各个频率信息,N LE M D 分解后得到的内蕴模式分量相当于提取了图像的高频信息,即图像的细节和边缘;而剩余分量相当于将图像经过了一个低通滤波器,即得到的是图像的低频分量或照射分量.

(4)利用Retinex 调整图像的照射分量

选取待增强图像N LE M D 分解的剩余分量来用Retinex 算法增强,由于剩余分量已经是低频分量,我们将其经过Retinex 算法增强,便是进一步通过改变其亮度图像和反射图像在图像中的比例来达到增强图像的目的;最后按比例叠加所有图像的高频信息和Retinex 增强算法增强后的剩余分量,从而得到了亮度和对比度都更加均衡的增强结果.具体光照补偿方案示意图见图

3.

3　算法实现

　　(1)将原图像I (x ,y )进行直方图均衡化,并将结果从RG B 空间转换到HS V 空间,获取三个分量:色调H org 、饱和度S org 、亮度V org .

3

51第　4A 　期蒋永馨:一种基于光照补偿的图像增强算法

(3)利用N LE M D分别将图像V org,V org1(x,y), V org2(x,y),…,V org m(x,y)分解为l层,各自得到l个内

蕴模式分量imf

ij 和1个剩余分量r

ik

(x,y),内蕴模式分

量对应于图像的高频分量,剩余分量对应于图像的低频分量,即照射分量;(其中i=0,1,2,…,m;j=1,2,…,l;k=1,2,…,l)

(4)将其V org的剩余分量r0k(x,y)取对数,即r′0k(x,y)=log[r0k(x,y)],再用Retinex算法作用于r′0k(x,y),得到变换后的r″0k(x,y),通过式子R0k(x, y)=exp[r″0k(x,y)]得到增强后的剩余分量;

(5)将图像V org(x,y),V org1(x,y),V org2(x,y),…, V org m(x,y)各自得到的k-1个内蕴模式分量imf ij(x, y)相对应的同一层做加权处理得到imf j(x,y).

(6)求得V result=αij・∑imf j(x,y)+β・R0k(x,y)(其中j=1,2,…,K),且令亮度V org=max(0,m in(1,img)),其中max和m in分别为取大取小算子(本文中灰度级进行了单位化,限定在0～1之间);

(7)通过三个分量:色调H org、饱和度S org和亮度V result将HS V空间转换回RG B空间对图像进行重构.

步骤(2)中的照射系数n1,n2,…,n m需根据图像总体亮度和局部亮度梯度分布情况而定.

4　实验分析

　　实验中,本文算法主要和M cCann’s Retinex增强算法进行比对,同时给出了传统直方图均衡算法的结果.

图4(a)给出了待增强的couple原图;图4(b)为直方图均衡算法的结果,暗处的细节仍然较暗;图4(c)为Retinex增强算法的结果,上面已经给出了Retinex算法实现的前提是假设光照的平滑性,因此其结果虽然其暗处的亮度得到了一定的改善,但是人眼仍然无法辨别暗处的细节.图4(d)为本文算法增强的结果,与图4 (b)和图4(c)相比,地板、墙面、桌子、椅子背部和女人的手臂、小腿和衣服等处,亮度和对比度都得到了很好的均衡,在保证了人眼接受的亮度范围的同时暗处的细节也被相当好的增强了,例如桌子和椅子下面、沙发的侧面、墙画和男人上衣等处

.

图5(a)为一地下管道坑道的原始图像,由于地下潮湿,水泥墙壁和水管上都长满了青苔,为了得到更多的细节信息,在算法实现时,在本文第三部分的第二步中将每幅图像的照射系数间隔增大,同时最后重构时,我们增大高频部分的比重.从图5(d)可以看出,底下管道坑道对比度高、纹理细节丰富,并且亮度也得到了很

451　　电　　子　　学　　报2009年好的均衡.

图6(a)为航拍的一个小型机场机器周边地区的原图,图6(b)为Retinex算法的结果,处理结果整体偏亮.图6(c)为本文提出算法的结果,各部分亮度和对比度都得到了很好的均衡,通过光照补偿和细节增强,原图中较亮的部分仍然保持了丰富的纹理细节,而机场周围的反射光较弱的植被区,光照得到了较好的补偿,而且对比度得到了提高.

5　结束语

　　对局部光照不均的图像增强是图像增强领域的难点.本文在这方面作了重要的尝试,提出了一种基于光照补偿的图像增强方案,该算法利用了N LE M D对图像中明处和暗处的细节进行有效地挖掘、增强,并利用Retinex算法对N LE M D的剩余分量进行了增强,获得了优于Retinex增强和直方图均衡等传统算法的增强效果.该方案不仅达到增强明处和暗处细节的目的,同时有效地解决了对该类的光照补偿问题,使图像的亮处和暗处的亮度得到了均衡.

参考文献:

[1]Pichon E,Niethammer M,Sapiro G.Color histogram equaliza2

tion through mesh deformation[J].IEEE Transaction on Image Processing,2003,2(11):117-120.

[2]Yang S H,Lin D W.A geometry2enhanced color histogram

[A].International Conference Information Technology:Re2

search and Education[C].New Jersey,USA,IEEE,2003.563 -567.

[3]Russo F.Recent advances in fuzzy techniques for image en2

hancement[J].IEEE Transaction on Instrumentation and Mea2 surement,1998,47(6):1428-1434.[4]Land E H,McCann J.Lightness and retinex theory[J].J ournal

of Optical Society of America,1971,61(1):1-11.

[5]Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs

Fisherfaces:Recognition using class specic linear projection [J].IEEE Transactions on Pattern Analysis and Machine Intel2 ligence,1997,19(7):711-720.

[6]Moghaddam B,Wahid W,Pentland A.Beyond eigenfaces:

probabilistic matching for face recognition[A].Proceeding of International Conference on Automatic Face and Gesture[C]: IEEE,Nara,Japan,1998.30-35.

[7]Huang N E,Shen Z.The empirical mode decomposition and the

Hilbert spectrum for nonlinear non2stationary time series analy2 sis[J].Proceedings of the Royal Society of London Series A, 1998,454:903-995.

[8]徐冠雷,王孝通,徐晓刚等.基于限邻域EMD的图像增强

[J].电子学报,2006,34(9):1635-1639.

作者简介

:

蒋永馨　女,1981年8月出生于黑龙江绥

化.2002年和2005年在海军航空工程学院分别

获工学学士学位和工学硕士学位.2005年任教

于海军大连舰艇学院.现为博士研究生、助教,从

事图像处理和目标识别方面的有关研究.

E2mail:jiangy ongxin1981@yahoo.com.cn

王孝通　男,教授、博士生导师.1962年出生于浙江义乌.主要从事交通信息处理和图像处理方面的研究.

551

第　4A　期蒋永馨:一种基于光照补偿的图像增强算法