最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 正文

基于暗通道优先的单幅图像去雾方法

来源:动视网 责编:小OO 时间:2025-09-26 05:19:43
文档

基于暗通道优先的单幅图像去雾方法

基于暗通道优先的单幅图像去雾方法何恺明,孙建,唐晓鸥等著摘要:本文中,我们提出一种简单而高效的图像优先原则——暗通道优先,来对单幅图像去雾。暗通道优先是在户外无雾图像的统计结果中得出的。它基于一个关键的发现——对于户外无雾图像,其大部分局部块中,至少有一个颜色通道包含强度很低的像素点。运用这个优先原则建立图像退化函数,我们能直接估算出雾的厚度以及复原出高质量的清晰图像。对各种有雾图像的处理结果都能很好的证明所提出的暗通道优先原理的有效性,同时我们还能获取有雾图像的高质量深度图像。关键字:去朦胧
推荐度:
导读基于暗通道优先的单幅图像去雾方法何恺明,孙建,唐晓鸥等著摘要:本文中,我们提出一种简单而高效的图像优先原则——暗通道优先,来对单幅图像去雾。暗通道优先是在户外无雾图像的统计结果中得出的。它基于一个关键的发现——对于户外无雾图像,其大部分局部块中,至少有一个颜色通道包含强度很低的像素点。运用这个优先原则建立图像退化函数,我们能直接估算出雾的厚度以及复原出高质量的清晰图像。对各种有雾图像的处理结果都能很好的证明所提出的暗通道优先原理的有效性,同时我们还能获取有雾图像的高质量深度图像。关键字:去朦胧
基于暗通道优先的单幅图像去雾方法

何恺明,孙建,唐晓鸥等著

摘要:本文中,我们提出一种简单而高效的图像优先原则——暗通道优先,来对单幅图像去雾。暗通道优先是在户外无雾图像的统计结果中得出的。它基于一个关键的发现——对于户外无雾图像,其大部分局部块中,至少有一个颜色通道包含强度很低的像素点。运用这个优先原则建立图像退化函数,我们能直接估算出雾的厚度以及复原出高质量的清晰图像。对各种有雾图像的处理结果都能很好的证明所提出的暗通道优先原理的有效性,同时我们还能获取有雾图像的高质量深度图像。

关键字:去朦胧;去雾;图像恢复;深度估计

1 引言

户外图像场景通常会由于大气中的散射介质(例如颗粒和水蒸气)的存在而被降质。烟、雾是由于大气的吸收和散射而形成的。照相机接收到的场景点的辐照度随着太阳光的光长而衰减。所以接收到的光混合着太阳光[1]——周围的光由大气中的颗粒反射到视线里。如图(1a)所示,降质的图像缺失了对比和颜色保真度。既然散射的程度是由场景点离相机的距离决定的,降质就是基于空间的变化。

用户、计算类的摄影技术和计算机视觉的运用都需要高质量的图像去雾技术。首先,去雾能够有效地增强场景的可视度,通过大气光能纠正颜色的偏移。总的来说,无雾清晰的图像有舒适的视觉感受。其次,在大多数的计算机视觉算法中,无论是底层图像的分析还是顶层对象识别,经常假设输入图像(在辐射校正后)是场景辐射。最后,有雾图像提供深度信息、有利于许多视觉算法以及图像编辑。雾能提供有效的深度线索,便于场景理解。一幅浓雾图像有很大的用途。

然而,去雾仍然存在很多挑战,因为雾是依赖于未知的深度信息的。如果输入是单幅图像,那么这个问题就是未被限定的。因此,提出的很多去雾方法,都是运用多幅图像或添加额外信息。基于极化的方法[3][4],通过不同极化程度的两幅以上的图像来去雾。还有论文提出[5][6][7]在不同的天气环境下,拍摄多幅相同场景的图像,来获取更多的约束。基于深度的方法[8][9]需要用户输入或已知3D模型的深度信息。

最近,单幅图像去雾有了重要的进展[10][11]。这些方法成功运用了更好的先验知识或假设。Tan[11]发现一幅无雾清晰图像相较于输入的有雾图像有更强的对比度,他还发现可以通过增强复原图像的局部对比度,可以去雾。这个发现很吸引人但没有有效地物理性。Fattal[10]估计了场景的反射率,并在传输与表面阴影局部不相关的假设获下媒介传输模型。这个方法听起来是有物理可行性的,可以获得有效地结果。然而,它不能用来处理浓雾的图像,而且当这些假设不成立时,这个方法也就行不通了。

本文中,我们提出一种新的先验知识——暗通道优先,能运用于单幅图像去雾中。暗通道优先是从大量的户外有雾的图像的特性统计中得到的。我们发展,在大多数不包括天空的局部块中,有些像素(暗像素)在至少一个颜色通道其强度是很低的。而在有雾的图像中,这些暗像素的强度主要是由大气光贡献的,因此这些暗像素能精确估计退化模型。结合有雾图像和图像软抠插值法,我们可以复原一幅无雾图像,生成一幅较好的深度图。

我们的方法在物理上式可行的,能处理一些浓雾中的远距离目标的处理。我们并不依赖于传输的重要变量和表面的阴影。复原的图像也很少出现光晕现象。

图1 单幅图像去雾(a)输入的有雾图像;(b)本文去雾方法的结果;(c)复原的深度图

正如许多方法都给予一定的假设,我们的方法同样有一定的局限性。当在很大一个局部区域内,场景目标与大气光固有的相似时(例如雪地、白墙),上面没有投射任何阴影,则暗通道优先就无法运用。尽管我们的方法对于大多数的户外有雾图像都有很好的去雾功效,但是仍然在一些极端的例子中不可行。值得庆幸的是,在这样的情况下并不需要很好的去雾功能,因为雾几乎看不见。我们相信从不同方面开发新的先验知识,并将它们结合起来,有利于未来技术水平的提高。

2 背景

在计算机视觉和计算机制图学中,以下模型被广泛的用来描述有雾图像的形成过程,即退化模型[2][5][10][11]:

I(x)=J(x)t(x)+A�1−t(x)� (1) 其中,其中I是雾化图像的颜色值,J是场景无雾情况下的颜色值,A是空气颜色值,而t 则是场景色彩在各个区域通过程度的描述(Transmission Map透射图)。去雾方法的本质就是从I 获取J、A 和t。对于一个N个像素点的彩色图像,有3N个约束条件和4N+3个未知量。这使去雾问题相当模棱两可。

在(1)中,在右手边的第一项J(x)t(x)叫做直接衰减项[1][11].直接衰减项描述了场景的辐射以及在媒介中衰减,先前散射光形成大气光,并导致了场景颜色的转移。然而直接的衰减是由于场景辐射的叠加的变形失真的结果,大气光是叠加后的光。

当大气层是均匀的,传递函数t表示如下:

t(x)=e−βd(x) (2)

其中β表示大气层的散射系数,d是场景的深度。这个等式表明场景辐射的衰减与场景深度呈指数关系。如果我们能够复原出传递函数,就能在一个未知的尺度上复原深度信息。

几何学上说,退化方程说明在RGB彩色空间上,向量A,I(x)和J(x)是共面的,它们的结束点是共线的。透视图t是两个线段的比:

t(x)=|| A −I(x) ||()=A c−I c(x)

c c()

其中,c∈{r,g,b}是颜色通道的索引。

图2 (a )有雾图像模型 ;(b )Fattal 的文章中所用的反射率恒定的模型

基于这样的模型,Tan 的方法[11]侧重于增强图像的可视性。由于统一透视图t 的作用,输入图像的可视性(太阳光的梯度)在雾的阻挡下降低了,因为t<1:

∑�|∇I (x )|�=t ∑�|∇J (x )|�x <∑�|∇J (x )|�x x (4)

在一个约束条件,即J (x )的强度比A 的强度弱,最大化团块的可视性,可以估计出局部团块的透视图t 。MRF 模型用来调整结果。这种方法可以很好地揭示有雾图像的细节和结构。然而输出图像通常由于这种方法仅仅侧重于增强可视性,而有很大的饱和度,它并没有试图通过物理方法复原场景辐射。而且,这种方法获得的结果可能在深度不连续的区域出现嘈杂效应。

在[10],Fattal 提出了一种基于成分分析的方法。首先,局部团块的反射率假设为一个常向量R 。因此在团块中的所有向量J (x )有相同的方向R ,如图(2b )所示。其次,假设表面阴影的统计量||J (x )||和透视图t (x )在团块中是的,用ICA 来估计R 的方向。最后,由输入图像形成的MRF 模型,从而推导出物理模型,生成一个自然地无雾的图像以及其深度图像。但是,由于基于统计的性假设,这种方法要求分量显著的多样化。任何变量的缺失或者低信噪比(通常在浓雾区域)会使统计不可信。更重要的是,统计是基于颜色信息上的,它在灰度空间是无效的,它很难去处理没有颜色的浓雾图像。

在下一章,我们将提出一种新的先验知识——暗通道优先,来直接估计户外有雾图像的透视图。

图3 计算暗通道(a)任意输入的图像J;(b)对于任意的像素点计算它的(r,g,b)三通道中的最小的值;(c)对(b)图进行最小滤波,这就是暗通道,图像的尺寸为800×551,团块的大小为15×15

3 暗通道优先

暗通道优先是基于下面的户外有雾图像的发现:在大多数没有天空的团块中,至少有一个颜色通道有一些强度很低的和接近于0的像素点。也就是说,在团块中最小强度接近于0。

为了正规的描述这种发现,我们首先定义这个暗通道的概念。对于一个任意的图像J,它的暗通道J dddd如下:

J dddd(x)=mmm y∈Π(x)(mmm c∈{d,g,b}J c(y))(5)其中,J c是J的一个颜色通道,Π(x)是以x为中心的局部团块。一个暗通道是两次最小化操

作的结果:mmm

c∈{d,g,b}是在每个像素点上的作用,mmm y∈Π(x)是最小化滤波。这两个操作是可交换的。

运用暗通道这个概念,如果J是一幅户外无雾图像,处理天空部分,J的暗通道的强度会很低,接近于0:

J dddd→0 (6)我们称这种观察叫做暗通道优先原则。

图4 (a)选取的无雾图像的数据;(b)相应的暗通道;(c)一幅有雾图像及其暗通道暗通道的低强度主要是由于3种原因:(a)阴影,例如车、高楼的阴影以及玻璃内部的城市风景画,或者风景图像中的树叶,树以及岩石的阴影;(b)彩色的目标物或表面,例如任何具有在任意一个颜色通道上有低反射率的物体(例如绿色的玻璃,树和植物,红色或黄色的花和叶子,蓝色的水平面),都会导致在暗通道上的低值;(c)深色的目标或表面,例如深色的树干和岩石。正如自然的户外图像通常都是各色各样,到处存在阴影,这些图像的暗通道确实值很低。

为了证明这些暗通道究竟有怎样的特性,我们在Flickr.com以及许多其他由Flickr用户用150个最流行的标签标注的图像搜寻引擎上收集了一组户外图像。因为雾经常发生在户外风景以及城市场景中,我们人工的从数据库中挑选出有雾的风景和城市图像。而且我们仅仅侧重于白天的图像。我们随机挑选出5000幅图像,人为的去除天空的图像。这些图像被重新规定大小,这样长和宽的最大值是500像素,运用15×15的团块来计算它们的暗通道。如图4所示,许多户外图像以及它们的暗通道。

图5 暗通道的统计数据(a)5000幅暗通道的所有像素点强度的统计直方图;(b)累积分布;(c)每个暗

通道平均强度的直方图

图(5a)是5000幅图像暗通道的强度直方图,图(5b)是对应的累积分布。我们可以得到暗通道中大约75%的像素强度为0,其中90%的像素点强度低于25。这个统计结果对于我们的暗通道优先理论提供了很好的理论支撑。我们同样计算了每个暗通道的平均强度,并画出了相应的直方图,如图(5c)。同样,对于绝大多数的暗通道,它都具有很低的平均强度,说明只有一小部分的户外图像背离我们的先验知识。

由于叠加的大气光,一个有雾图像比无雾图像更亮,无雾图像的透视图t很小。所以,一幅有雾图像的暗通道在浓雾区域强度会更高(如图4所示)。事实上,暗通道的强度是雾的厚度的粗略近似。在下一章,我们会用这种特性来估计透视图和大气光。

注意,我们忽略天空区域是因为无雾图像的暗通道的强度很高。庆幸的是,我们可以用退化模型(1)来处理天空区域和我们的先验知识。所以没有必要明确的去除天空区域。我们会在第四章讨论这个问题。

我们的暗通道优先部分来自于著名的暗目标去除技术[12]的灵感,该技术广泛的运用于多光谱远距离传感系统。在文章[12],空间上去除均匀模糊是通过减去一个恒定值,这个值与场景中的暗目标相关。我们概括了这种思想,提出了一种新的用于自然场景去雾的先验知识。

4 基于暗通道优先的去雾

4.1估计透视图我们假设大气光A是给定的,一种自动估计大气光的方法将在4.3节介绍。我们首先标

准化退化模型(1):

I c(x)A c=t(x)J c(x)A c+1−t(x) (7) 注意,我们单独的标准化每个颜色通道。

�。接下来,对式(7)两边我们进而假设局部团块Π(x)中的透视图是恒定的,记作t(x)

同时求最小值计算:

mmm y∈Π(x)�mmm c I c(x)A�=t(x)�mmm y∈Π(x)�mmm c J c(x)A�+1−t(x)� (8) �在团块内是常量,它可以被提取到最小化运算的外面。

因为t(x)

因为场景辐射J是一幅无雾图像,则由先验知识可知,它的暗通道接近于0:

J dddd(x)=mmm y∈Π(x)(mmm c J c(y))=0 (9)因为A c总是正的,可推导得

mmm y∈Π(x)�mmm c J c(x)A�=0(10)将(10)代入(8),我们可以消去乘法项,估计出透视图t:

t(x)�=1−mmm y∈Π(x)�mmm c J c(x)A�(11)

事实上,mmm

y∈Π(x)�mmm c J c(x)A c�是标准化有雾图像J c(x)A c的暗通道。它直接得出了透视图的估计。

正如我们先前提到的,暗通道优先并不利于天空区域。值得庆幸的是,有雾的图像I的天空颜色近似于大气光A。所以,在天空区域,我们有

mmm y∈Π(x)�mmm c J c(x)A c�→1

�→0。因为天空无限远,它的透视图事实上接近于0,(11)能同时处而且(11)中t(x)

理天空和没有天空的区域。我们不需要实现将天空区域分割出来。

事实上,即使在晴朗的时候,大气中不会没有一点颗粒的,所以,雾的存在可以成为获取深度信息[13][14]的基本线索。这种现象叫做空中透视。如果我们完全的去除雾,图像反而看上去不自然,我们也会丢失深度信息。所以,我们引进一个常系数ω(0<ω≤1),对远景目标有选择的保留一小部分雾:

t(x)�=1−ωmmm y∈Π(x)�mmm c J c(x)A c� (12)这种修改具有很好的特性,我们能自适应为远景目标保留一部分雾。Ω的取值基于具体应用,本文中均取值为0.95。

由式(11)可知,暗通道优先在退化模型中消除乘法项是很重要的,只有大气光被留在来了。这种方法完全不同于[10][11]提出的单幅图像去雾方法,它们依赖于乘法项。这些方法认为,乘法项改变了图像的对比度[11]和颜色变量[10]。相反,我们注意到添加项改变局部暗像素的强度。在暗通道优先的前提下,乘法项可以被消除,添加项也足够来估计透视图。我们进而概括式(1)得:

I(x)=J(x)t1(x)+A�1−t2(x)�(13)其中,t1和t2并不一定要求相同。从推导出的式(11)中,我们可以估计出t2,因此可以分离出添加项。问题简化为乘法形式(J(x)t1),其他约束条件或先验知识可以用来解决这一项。在人类视觉研究的文章中[15],这个添加项称为光幕亮度,式(13)可以用来描述一个透过纱幕的场景或刺眼的亮点。

图6 去雾(a)输入的有雾图像;(b)在软抠技术之前的估计透视图;(c)软抠技术优化后的透视图;(d)

(e)分别用(b)(c)优化后的去雾图像

图(6b)表明了用式获得的估计透视图。图(6d)是对应的复原图像。可以看出,暗通道优先能有效的复原生动的颜色和揭示低对比度的目标。透视图是合理的,主要的问题在于一些噪声以及团块效应。这是因为在同一个团块中透视图并不是对比度很明显。在下一节中我们提出一种图像软抠方法来优化透视图。

4.2 软抠技术

很容易发现,有雾图像的退化模型方程和图像软抠模型具有相似形式:

I=FF+B(1−F)(14)其中,F和B分别是前景和背景颜色,α是前景不透明度。在退化模型中有雾图像方程事实上就是透视图。因此,我们能运用缝接的环绕形式的构架来优化透视图。

�重新记为t和t,我们最小化下面的损失函数。

用t(x)优化透视图,将t(x)和t(x)

E(t)=t T Lt+λ(t−t�)T(t−t�)(15)这里,第一项是平滑项,第二项是数据项,前面有权重系数λ。矩阵L称为缝接拉氏矩阵[16]。其中第(i,j)项元素定义为如下:

∑�δij−1ωd�1+(I i−μd)T�∑k +εωd U3�−1(I i−μd)��d|(x,y)∈ωd(16)其中,I i和I j表示输入的输入图像I在像素点i和j处的颜色值,δij是克罗内克符号,μd和∑k是窗ωd内颜色矩阵的均值和协方差,U3是一个3×3的单位矩阵,ε是一个规范化参数,|ωd|是窗ωd内的像素点个数。

最优的t能通过解以下的稀疏线性系统可得:

(L+λU)t=λt�(17)其中U是与L矩阵相同大小的单位矩阵。我们设定一个较小的λ(在本实验设为10−4),这样t能较柔和的被t约束着。

式(16)中缝接拉氏矩阵的推断是基于颜色线性假设:团块内的前景和背景颜色在RGB 颜色空间里分布在单一的线上。颜色线性假设在去雾问题上同样有效。首先,场景辐射J 是一幅自然图像,根据[16][17],颜色线性模型适用于自然图像。其次,大气光A是一个常值,这自然也符合假设。因此,用缝接拉氏矩阵来作为去雾模型的平滑项是有效的。

环绕式缝接框架已经被Hsu et al[18]用来解决空间变量的白平衡问题。在[16][18],这种约束也存在于一些稀疏区域,这种框架主要用来从一些未知区域外推出取值。在我们的运用中,整幅图像已经填满粗糙透视图t,我们认为这种约束是柔和的,于是运用缝接框架来优化透视图。

在求解出线性系统(17),我们构建透视图t的双向滤波[19]来平滑它的小区域的纹理问题。

图(6c)是运用图(6b)作为约束来优化后的结果。我们可以看到,噪声和团块现象已经被控制了,优化了的透视图能够很好地覆盖边缘尖锐的不连续性,以及目标的边框和轮廓。4.3 估计大气光

我们已经假设了大气光A是已知的,在这一节,我们提出一种方法来估计A,在先前的工作中,在大多数不透明的雾区域的颜色采用式(11)中的A或者初始的A猜测[10]。然而,很少会花精力去检测大多数不透明的雾区域。

在Tan的工作中[11],在有雾的图像中,最亮的像素点被认为是最不透明的雾区域。这仅当天气是阴天而且太阳光可以被忽略时,才能成立。在这个例子中,大气光是场景中唯一的光源。所以,每个颜色通道的场景辐射如下所示:

J(x)=R(x)A(18)其中,R≤1是场景点的反射比,有雾图像退化方程(1)可以写作:

I(x)=R(x)At(x)+�1−t(x)�A≤A(19)当图像中存在无限远的场景点(t≈0)时,最亮的I是最不透明的雾图像,它近似的等于A。不幸的是,实际中我们很少忽略太阳光。考虑到太阳光S,我们修改式(18)(19)分别为:

J(x)=R(x)(S+A)(20) I(x)=R(x)St(x)+R(x)At(x)+�1−t(x)�A(21) 在这种情况下,整个图像最亮的像素点可能比大气光更亮,例如可能是一辆白色的车或白色的大楼(如图7d和7e)。

图7 估计大气光(a)输入图像;(b)暗通道和最不透明雾区域;(c)本论文提出的自动获取大气光的团

块;(d)(e)两个比大气光更亮的团块

正如第三节中所讨论的,有雾图像的暗通道近似于雾的厚度(如图7d)。所以我们运用暗通道来检测最不透明的雾区域,以及改善大气光的估计。首先我们挑选出暗通道中强度最亮的前10%的像素点。这些像素点通常是最不透明的雾区域(如图7b中黄线框出的区域)。在这些像素点中,对于其输入图像I强度最大的像素点的强度选作大气光的强度,如图7a 中用红矩形框出的像素点。注意的是,选出的点不一定是整幅输入图像中最亮的像素点。

图8 (a)输入图像;(b)暗通道,红色标出的像素点是由本方法检测出的最不透明雾区域;(c)去雾的

结果;(d)Fattal的去雾结果

这种方法当图像中没有无限远的像素点时能有很好的功效。在图8b中,我们的方法能有效的检测出最不透明的雾区域。然而,这里t并不趋近于0,所以这些区域的颜色可能不同于A。庆幸的是,t在大多数的最不透明的雾区域都很小,所以太阳光的影响很微弱(如

式(21)中所示)。因此,这些区域仍然能提供较好的大气光的近似值A。这幅图的去雾结果如图8c所示。

这种基于暗通道优先原理的简单方法比最亮像素点法鲁棒性更高。在本文中我们用它对所有图像的大气光进行估计。

4.4 复原场景辐射

结合大气光和透视图,我们可以根据退化模型(1)来复原场景辐射。但是当透视图t(x)接近0时,直接衰减项J(x)t(x)也将很接近于0。直接复原图像会带来噪声,因此,我们用较低的t0来约束透视图t(x)。我们保留一小部分雾对于特别浓雾的图像,最终复原的场景辐射J(x)如下:

J(x)=I(x)−A mdx(t(x),t0)+A (22)一个典型的t0取值为0.1,因为场景的辐射通常并没有大气光那么亮,去雾后的图像看起来昏暗。所以,我们增加了J(x)显示时的曝光度,最终复原的图像如图6e所示。

4.5 团块大小

在我们的算法中,一个重要的参数就是式(11)中团块的大小。若团块尺寸变大,暗通道优先的效果会更好,因为团块中包含暗像素的可能性就会增加。从图9中可以看出:团块的尺寸越大,暗通道像素点的强度越低。所以,对于小尺寸的团块其精度不高,复原的图像其场景呈过饱和(如图10b)。另一方面,团块内的透视图是恒定的假设也不够准确。如果团块的尺寸太大,深度边缘的噪声会很大(如图10c)。

图9 去雾图像(600×400)以及分别用3×3和15×15的团块计算得到的暗通道

图10 (a)一幅600×400的有雾图像;(b)(c)分别是用3×3和15×15的团块复原的场景辐射(没有用软抠技术进行优化);小尺寸的团块复原的场景辐射出现过饱和,而大尺寸的团块会包含很多噪声

图11 用不同的团块复原图像(用软抠技术优化结果)(a)源图像;(b)用3×3的团块;(c)用15×15

的团块;(d)用30×30的团块;

图11表明用不同的团块大小来去雾。图像尺寸为600×400,如图11b所示,团块尺寸为3×3.一些灰色地带的表面的颜色过饱和了(如第一行的楼房和第二、三行的子图像)。如图11c和图11d,团块的大小分别为15×15和30×30,这些结果要比图11b更自然一些,这表明我们的方法对于一些足够大的团块效果更好。软抠技术有利于降低大团块带来的人为不自然性。图11d看上去比图11c模糊一些(尤其在远距离的区域),但是区别很小。在本文接下来的处理中,我们选用15×15的团块。

5 实验结果在我们的实验中,我们有van Herk的快速算法[20]进行最小化滤波,它的复杂性与图像的大小呈线性关系。在软抠阶段,我们用预处理共轭算法(PCG)来求解。在配置为3.0GHZ 的因特尔奔腾4处理器的PC机上,处理一幅600×400的图像需要10-20秒的时间。

图12 去雾结果(a)输入图像;(b)复原的无雾图像;(c)深度图像,在图上方第一行用红色矩形框出

的是本文方法自动获取大气光的位置

图1和图12表示复原图和深度图,深度图是根据式(2)计算的,由未知缩放比例参数β决定的。这里的大气光是由4.3节提到的方法自动计算的(在图12中用红色的矩形框出来)。我们可以看出,我们的方法即使在浓雾区域仍能保留细节信息和复原出生动的颜色。估计处的深度图像在深度边缘上很陡峭,与输入图像保持一致。

乳沟图像中有足够多的阴影,我们的方法对于灰度图像同样适用,城市风光的图像往往符合这种要求。在这样的例子中,我们在整个推导过程中省略mim c的操作,图13正是说明了这个例子。

图13 灰度图像的例子(a)输入图像;(b)结果;(c)复原的深度图像在图14中,我们将这个方法与Tan的方法[11]进行比较,他的方法中颜色出现过饱和,因为最大化对比度会容易出现对雾层过估计。而我们的方法并不通过牺牲颜色的保真度来复原图像结构,在我们的方法中噪声干扰也比较小。

图14 与Tan的方法[11]的比较(a)输入图像;(b)Tan方法的结果;(c)本文方法的结果

接下来,我们与Fattal的方法进行比较,如图8所示。在图15中,可以看出我们的方法在处理浓雾的图像时,要优于Fattal的方法。他的方法是基于局部统计,需要足够多的颜色信息和方差。当图像是浓雾时,颜色很模糊,方差不够大,这样无法估计出透视图。图15b和15c分别显示了在使用MRF外推法前后的结果,因为只有部分的透视图能够被复原出来,在推导后仍有部分区域很暗淡(如山),有些雾没有被去除(如城市风景中较远的区域)。我们的方法在这些区域有比较自然的结果(如图15d)。

图15 与Fattal方法[10]的比较(a)输入图像;(b)用Fattal方法在外推钱的结果,不是从黑色区域估

计出的透视图;(c)外推后的Fattal方法的结果

同样,我们还与Kopf的方法[8]进行比较,如图16所示。为了去雾,他们运用3D模型和场景的纹理图。一些额外的信息可能来自谷歌地图以及卫星图像。而我们的方法在不需要地理信息的基础上,对单幅图像生成又比较性的结果。

图16 与Kopf et al的方法的比较(a)-(d)分别为输入图像,Kopf et al的方法的结果,本文方法的结

果图,本文方法的深度图

在图17中,我们将自己的方法与很多以前的方法进行了比较,图17e显示了Photoshop 的自动曲线功能,这相当于对每个颜色通道单独的去除暗目标的方法[12]。因为这种方法用来去除一些空间不变的雾,当图像的深度不再是常量时,它只能去除最近目标周围的一些薄雾层。图17f和图17g显示的是Photoshop的非清晰地掩饰以及经典的直方图均衡化处理,它们在增强对比度上又很广的运用。然而,如果深度不是统一的,增强必须是空间不变的。这些方法不能决定到底增强多少程度,所以远处的景物并不能很好地被复原。而且,它们不是基于退化模型,所以不能给出深度图。

图17 与其他方法的比较结果(a)输入图像;(b)Kopf et al的方法的结果;(c)Tan方法的结果;(d)Fattal方法的结果;(e)Photoshop的自动曲线;(f)Photoshop的非清晰地掩饰;(g)直方图均值化;(h)

本文方法的结果;(i)本文方法的深度图像

6 讨论

在本文中,我们提出一种简单但是强大的先验知识,叫做基于暗通道优先的单幅图像去雾。暗通道优先是基于对户外无雾图像统计结果,将暗通道优先原理结合退化模型,我们能够简单而高效的对单幅图像去雾。

因为暗通道优先是一种统计特性,它可能对于一些特殊的图像并不起作用。当场景目标与大气光很相似,而且没有阴影投射到上面(例如图18 中的白色的大理石),暗通道优

先是无效的,在那些物体周围的场景的暗通道包含值很大的像素点。所以,我们的方法会低估这些目标的透视图,高估雾层。

图18 暗通道无效的例子(a)输入图像;(b)本文方法的结果;(c)本文方法的透视图,大理石的透视

图被低估了

而且,我们的方法是基于退化模型式(1)的,当不符合这个物理模型时,这种方法就不可行。首先,当太阳光受到影响时,大气光恒定这个假设可能不合适。图19a中,大气光在左边比较亮,右边比较昏暗,我们的自动估计的大气光A(如图19c)并不是其他区域真实的大气光A,所以复原的右边的天空区域应该比实际要暗(如图19b)。改进后的模型(式14)可以用来描述这个复杂的例子。其次,如果大气中的颗粒比较小(雾比较薄)并且目标有几千米远[7],则透视图t依赖于波长。在这种情况下,这些透视图在各个颜色通道中不相同,也就造成远在地平线的目标有点蓝(图19a)。正如退化模型(1)所假设的那样,人为三个通道用相同的透视图,我们的方法不能复原远景目标真正的辐射,所以它们还是呈现淡蓝色。我们将在未来的研究中解决这个问题。

图19 去雾失败的例子(a)输入图像;(b)本文方法的结果;(c)暗通道,红色像素点表示用它们来估

大气光的值;(d)估计的透视图参考文献

[1] H. Koschmieder, “Theorie der Horizontalen Sichtweite,” Beitr.Phys. Freien Atm., vol. 12, pp.

171-181, 1924.

[2] S.G. Narasimhan and S.K. Nayar, “Vision and the Atmosphere,” Int’l J. Computer Vision, vol.

48, pp. 233-254, 2002.

[3] Y.Y. Schechner, S.G. Narasimhan, and S.K. Nayar, “Instant Dehazing of Images Using

Polarization,” Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 325-332, 2001.

[4] S. Shwartz, E. Namer, and Y.Y. Schechner, “Blind Haze Separation,” Proc. IEEE Conf. Computer

Vision and Pattern Recognition, vol. 2, pp. 1984-1991, 2006.

[5] S.G. Narasimhan and S.K. Nayar, “Chromatic Framework for Vision in Bad Weather,” Proc.

IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 598-605, June 2000.

[6] S.K. Nayar and S.G. Narasimhan, “Vision in Bad Weather,” Proc. Seventh IEEE Int’l Conf.

Computer Vision, vol. 2, pp. 820-827, 1999.

[7] S.G. Narasimhan and S.K. Nayar, “Contrast Restoration of Weather Degraded Images,” IEEE

Trans. Pattern Analysis and Machine Intelligence, vol. 25, no. 6 pp. 713-724, June 2003. [8] J. Kopf, B. Neubert, B. Chen, M. Cohen, D. Cohen-Or, O. Deussen, M. Uyttendaele, and D.

Lischinski, “Deep Photo: Model-Based Photograph Enhancement and Viewing,” ACM Trans.

Graphics, vol. 27, no. 5, pp. 116:1-116:10, 2008.

[9] S.G. Narasimhan and S.K. Nayar, “Interactive Deweathering of an Image Using Physical

Models,” Proc. IEEE Workshop Color and Photometric Methods in Computer Vision, in

Conjunction with IEEE Int’l Conf. Computer Vision, Oct. 2003.

[10] R. Fattal, “Single Image Dehazing,” Proc. ACM SIGGRAPH ’08, 2008.

[11] R. Tan, “Visibility in Bad Weather from a Single Image,” Proc. IEEE Conf. Computer Vision and

Pattern Recognition, June 2008.

[12] P. Chavez, “An Improved Dark-Object Subtraction Technique for Atmospheric Scattering

Correction of Multispectral Data,” Remote Sensing of Environment, vol. 24, pp. 450-479, 1988.

[13] E.B. Goldstein, Sensation and Perception. Cengage Learning 1980.[14] A.J. Preetham, P. Shirley, and B. Smits, “A Practical Analytic Model for Daylight,” Proc. ACM

SIGGRAPH ’99, 1999.

[15] A.L. Gilchrist and A. Jacobsen, “Lightness Constancy through a Veiling Luminance,” J.

Experimental Psychology: Human Perception and Performance, vol. 9, no. 6, pp. 936-944, 1983.

[16] A. Levin, D. Lischinski, and Y. Weiss, “A Closed Form Solution to Natural Image Matting,”

Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol. 1, pp. 61-68, 2006.

[17] I. Omer and M. Werman, “Color Lines: Image Specific Color Representation,” Proc. IEEE Conf.

Computer Vision and Pattern Recognition, vol. 2, pp. 946-953, June 2004.

[18] E. Hsu, T. Mertens, S. Paris, S. Avidan, and F. Durand, “Light Mixture Estimation for Spatially

Varying White Balance,” Proc. ACM SIGGRAPH ’08, 2008.

[19] C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color Images,” Proc. Sixth IEEE

Int’l Conf. Computer Vision, p. 839, 1998.

[20] M. van Herk, “A Fast Algorithm for Local Minimum and Maximum Filters on Rectangular and

Octagonal Kernels,” Pattern Recognition Letters, vol. 13, pp. 517-521, 1992.

文档

基于暗通道优先的单幅图像去雾方法

基于暗通道优先的单幅图像去雾方法何恺明,孙建,唐晓鸥等著摘要:本文中,我们提出一种简单而高效的图像优先原则——暗通道优先,来对单幅图像去雾。暗通道优先是在户外无雾图像的统计结果中得出的。它基于一个关键的发现——对于户外无雾图像,其大部分局部块中,至少有一个颜色通道包含强度很低的像素点。运用这个优先原则建立图像退化函数,我们能直接估算出雾的厚度以及复原出高质量的清晰图像。对各种有雾图像的处理结果都能很好的证明所提出的暗通道优先原理的有效性,同时我们还能获取有雾图像的高质量深度图像。关键字:去朦胧
推荐度:
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top