英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
基于暗通道先验的单幅图像去雾
摘要—在本文中，我们提出一个简单而有效的图像先验-暗通道先验来为单一输入图像去雾。暗通道先验来自室外无霾图像的统计规律，它基于经观察得到的这么一个关键事实—户外无雾霾图像中的大部分局部区域都包含一些至少一个颜色通道强度很低的像素。
将此先验用于雾霾成像模型，我们可以直接估计雾霾的浓度， 并复原出高质量的无雾霾图像。在各种雾霾图像上的处理结果证明了所提出的先验的作用。此外，作为去除雾霾的副产品，还可以得到高质量的深度图。
1. 引言
室外场景的图像通常会因大气中的混浊介质（如颗粒和水滴）而降质。雾、霭、蒸气都因大气吸收或散射造成此类现象。摄像机从景物点接收到的辐照度会沿视线衰减。此外，入射光与大气颗粒反射到视线中的空气光[1] —环境光混合在一起。降质后的图像对比度和色彩保真度有所下降，如图1a所示。由于散射量取决于景物点与相机的距离，所以图像降质随着空间变化.
在消费者/计算摄影和计算机视觉等应用领域中，图像去雾有着广泛的应用需求。首先，去除雾霾可以显著提高场景的清晰度，并改正由空气光引起的色移。
一般来说，无雾霾的图像在视觉上更加美观。其次，从低级的图像分析到高级的物体识别，大多数计算机视觉算法通常假设输入图像（经过辐射度校准）是场景辐射度。许多视觉算法（如特征检测、滤波和光度分析）的性能将不可避免地受到有偏差的、低对比度的场景辐射度的影响。最后，去除雾霾处理可以提供深度信息，这对很多视觉算法和高级图像编辑是有益的。对于场景理解，雾霾可以提供有用的深度线索。不利的雾也能形成好的作用。通常意义下不好的雾也能派上用场，作为深度的线索能加深人们对景像的理解。
然而，除霾是一个具有挑战性的问题，因为雾霾依赖的深度信息是未知的。而在只有一幅图像可分析的情况下，解决这一问题又受到了制约。因此，很多使用多张图像或其他更多辅助信息的去雾方法被提出。基于偏振的方法[3]，[4]通过两张或多张偏振程度不同的图像拍摄来去除雾霾干扰。在[5]、[6]、[7]中，通过同一场景在不同天气条件下的多幅图像获得更多的约束条件。基于深度的方法[8]，[9]需要从用户输入或已知的三维模型中获得一些深度信息。
最近，基于单幅图像除霾取得了重大进展[10]，[11]。 这些方法的成功在于使用更强的先验或假设。Tan[11]观察到，与输入的雾霾图像相比，无雾霾的图像具有更高的对比度，他通过扩大复原图像的局部对比度来去除雾霾。Fattal [10]在假设透射和表面投影在局部是不相关的情况下，估计场景的反射率，来推断景物光在空气中传播时的透射率。这种方法在物理上是合理的，可以产生很好的结果。然而，它不能很好地处理严重雾霾的图像，尤其是当他的假想一旦失效的时候。
在本文中，我们提出了一种新型的先验规律—暗道先验，来用于单幅图像的除霾。暗道先验是基于室外无霾图像的统计数据得出的规律。 我们发现，在不包括天空的绝大部分局部区域，总会存在一些我们称之为“dark pixels”的像素，至少有一个颜色通道具备很低的强度值。在雾霾图像中，这些暗像素在该通道中的强度会被空气光所充斥而变得较高。因此，这些暗像素可以直接提供一个准确的雾霾透射估计。结合雾霾成像模型和插值方法，我们可以恢复高质量的无雾霾图像，并生成良好的深度图。
我们的方法在不仅物理上是有效的，而且能够处理重度雾霾图像中的远距离物体。我们不依赖于输入图像透射率或表面阴影的显著变化。结果基本没有人工的痕迹或者晕影。
像任何使用强假设的方法一样，我们的方法也有自己的局限性。当场景对象在大范围内与天空接近时（如雪地或白墙），且没有阴影投射在其上时，暗道先验可能无效。虽然我们的方法对大多数户外雾霾图像有较好的成果，但在一些极端情况下可能会失效。幸运的是，在这种情况下，去除雾霾并不关键，因为雾霾很少可见。我们相信，从不同的角度来发展这一先验，并将它们结合在一起，将进一步推动技术的发展。
图1.使用单一图像去除雾霾。使用单一图像去除雾霾。(a)输入的雾霾图像。(b)通过我们的方法去除雾霾后的图像。(c)我们恢复的深度图。
2. 背景
在计算机视觉和计算机图形学中，广泛用于描述雾霾图像形成的模型有[2]、[5]、[10]、[11]。
其中I是观测到的图像的强度，J是场景辐射度，A是全球大气光成分，t用来描述光线通过媒介透射到照相机过程中没有被散射的部分。除霾的目标是从I中恢复J、A和t，对于一个N像素的彩色图像I，有3N个约束和4N 3个未知数。这使得去除雾霾的问题本身就很模糊。
在(1)中，右侧第一个项J(x)t(x)称为直接衰减[11]，第二个项A(1-t(x))称为空气光成分[1]，[11]。直接衰减描述的是景物光线在透射媒介中经衰减后的部分，而空气光则是由前方散射引起的，会导致景物颜色的偏移，而空气光是加法变形。
当大气均匀时，透射率t可表示为
其中beta;为大气的散射系数，d为场景深度。这个等式表明，场景辐射度随景物深度的增加而呈指数衰减。如果我们能恢复透射率，我们也可以恢复深度到一个未知的尺度。
从几何学上看，雾霾成像方程（1）是指在RGB色彩空间中，向量A、I（x）和J（x）从几何学来看是共面的，它们的端点是共线的（见图2a）。透射率t是两个线段长度的比值。
其中cisin;{r,g,b}为色道索引。
图2.雾霾成像模型。(a) 雾霾成像模型。(b) Fattal工作中使用的恒定反射率模型[10]
图3.暗道的计算。(a) 任意图像J. (b) 对于每个像素，我们计算其(r, g, b)值的最小值。(c)对(b)进行最小滤波。这就是J的暗通道，图像(c)大小为800times;551，▲的斑块大小为15times;15。
在此模型的基础上，Tan的方法[11]着重于提高图像的可见度。在透射率t可近似看作不变的区域内，由于tlt;1，输入图像的可见度(梯度之和) 在雾的干扰之下减少。
在一个局部区域内，透射率函数t是通过扩大图像可见度并且使对比度满足J(x)的强度低于A的方法来估测的，并使用MRF模型来进一步规范结果。这种方法能够进一步地揭示雾霾图像中的细节和结构。然而，这一方法会产生更大的饱和值因为它仅仅集中在可见度的增强而并没有从物理上去复原原始景物的光线。此外，在靠近深度不连续的部位可能会包含一些光环效应。
在[10]中，Fattal提出了一种基于独立成分分析(Independent Component Analysis, ICA)的方法。首先, 假设局部区域的反射率是一个常数向量 R, 因此, 区域中的所有向量 J(x)都具有相同的方向向量 R, 如图2b所示. 其次，假设在一个局部表面投影‖J(x)‖和透射t(x)在统计学上是独立的，通过ICA估计R的方向。最后，应用输入彩色图像建立的MRF模型对整个图像进行外推求解。这种方法是基于物理学的，并可以产生自然的无雾的图像，同时也能得到良好的深度图。但是，由于统计独立性假设，这种方法要求独立分量有显著变化。任意差异性的匮乏或者过低的信噪比都会使得统计结果不可靠。另外，由于该统计方法是基于颜色信息得出的，因此对于灰度图像无效，难以处理无色的浓雾。
在下一节中，我们提出了一种新的先验—暗通道先验—直接从室外雾霾图像中估计透射率分布。
3. 暗通道优先
暗道先验是基于以下对户外无霾图像的观察得出的：在 大部分的非天空的局部区域，至少有一个颜色通道的像素强度非常低，且接近于零。换言之，该区域光强度的最小值是个很小的数。
为了正式描述这一观察结果，我们首先定义一个暗通道的概念。对于一个任意的图像J，它的暗通道J^dark是由以下公式给出的。
其中Jc是J的颜色通道，Omega;(x)是以x为中心的局部区域，暗通道是两个最小运算符的输出结果：是在每个像素上进行的(图3b)，是一个最小滤波器(图3c)。最小运算符是相通的，这两个最小运算符的次序是可以交换的。
利用暗道的概念，我们观察到，如果J是室外无霾影像，除了天空区域外，J的暗道强度很低，趋于零。
我们把这种观察称为暗道先验。
暗通道中的低强度主要是由三个因素造成的：a)阴影，如城市景观图像中的汽车、建筑物和窗户内侧的阴影，或景观图像中的树叶、树木和岩石的投影；b)彩色物体或表面，在RGB的三个通道中有些通道的值很低（例如，绿色的草,树,植物，红色或黄色的花叶，以及蓝色的水面）都会导致暗通道中的数值objects 偏低；c）暗色物体或表面，例如，深色的树干和石头。总之，自然景物中到处都是阴影或者彩色，所以这些影像的暗通道真的很暗！因此，我们可以用 '暗通道 '的方法来处理。
为了验证暗通道先验的正确与否，我们从Flickr.com和其他几个图片搜索引擎使用150个由Flickr用户注释的最受欢迎的标签收集了一组户外图片。由于雾霾通常会出现在户外的风景和城市景观场景中，我们从数据集中手动挑选出没有雾霾的风景和城市景观此外，我们只关注白天的图片。其中，我们随机选取了5,000张图片，并手动剪掉了天空区域的部分。图像的大小调整为最大宽度和高度为 500 像素，并使用 15 times; 15 的区域大小计算其暗道。图4为几张室外图像及对应的暗道。
图4.我们的无雾图像数据库中的图像示例。(a)我们的无霾图像数据库中的实例图像。(b) 相应的暗通道。(c)雾霾图像及其暗通道。
图5a是5000个暗通道的强度直方图，图5b是相应的累计直方图。我们可以看到，在暗通道中约有75%的像素值为零，90%的像素的强度低于25。这个统计结果强有力的支持了暗通道先验的合理性。 我们还计算了每个暗通道的平均强度，并在图5c中绘制了相应的直方图。 同样，大多数暗通道的平均强度非常低，说明只有一小部分室外无霾图像不符合我们的先验规律。
由于附加的空气光，图像被雾干扰之后往往要比其本身亮度更大，透射率t一般较小。所以，在雾霾较浓的区域，雾霾图像的暗通道会有较高的强度（见图4的右侧）。从视觉上看，暗通道的强度是雾霾厚度的一个粗略近似值。在下一节中，我们将利用这一特性来估计透射和大气光的影响。
可以看到，我们忽略了天空区域，因为无霾图像的暗通道在这里可能具有高强度。幸运的是，我们可以通过使用雾霾成像模型（1）和我们的先验来谨慎地处理天空区域的问题。它不需要明确地切出天空区域。我们将在第4.1节讨论这个问题。
我们的暗通道先验部分受到了广泛用于多光谱遥感系统的著名暗物体减法技术[12]的启发。在[12]中，通过减去一个对应于场景中最暗物体的常量值来去除空间上各向同性的雾度。我们从这个想法中归纳得到了我们的新的去雾途径。
图5.暗通道的统计。暗通道的统计。(a) 5,000个暗通道中所有像素的强度直方图（每条柱代表16个强度等级）。(b) 累积分布。(c) 每个暗通道的平均强度直方图。
4 利用暗通道先验去除雾霾
4.1 估计透射率
我们假设大气光A是给定的。在4.3节提出了一种自动估计大气光A的方法。我们首先将雾霾成像方程（1）归一化为A。
请注意，我们独立地对每个颜色通道进行归一化。
我们进一步假设局部贴片Omega;(x)中的传输是恒定的。我们将这个传输表示为t(x)。然后，我们计算（7）两边的暗通道。等价地，我们把两边的最小算子。
由于t(x)是区域中的一个常数，所以可以把它放在最小算子的外面。
根据暗原色先验的规律,无雾自然图像的暗原色项Jdark应该是接近于0的:
由于Ac总是正的，这导致了
将(10)放入(8)中，我们可以去掉乘法项，简单地用以下方法估计透射率t~。
事实上，是规格化的雾霾图像的暗道 。它直接提供了透射信息。
正如我们之前提到的，暗原色先验对天空区域不成立。幸运的是，在雾霾图像I中，天空的颜色通常与大气光A非常接近，因此，在天空区域，我们有
而(11)给出了t(x)→0。由于天空光来自无穷远处，它的透射率确实接近于零(见(2))，(11)较好地处理了天空和非天空区域。我们不需要事先将天空区域单独加以处理。
现实中，即使在晴天，大气层也不是绝对没有任何杂质分子。所以，当我们观察远处的物体时，雾气仍然存在。而且，雾霾的存在是人类感知深度的基本线索[13]，[14]。这种现象称为空间透视。如果我们彻底去除雾气，图像可能会显得不自然，我们可能会失去深度感。所以，我们可以通过引入一个常量参数 w '0lt;wle;1)，有选择的为远处的物体保留一个非常小的雾度。
这种修改的好处是，我们自适应地为远处的物体保留更多的雾度。w的值根据具体情况而定。在本文中，我们对所有的处理选取了一个定值：0.95。
在(11)的推导中，暗道先验对于消除雾霾成像模型(1)中的乘法项(直透)至关重要。只剩下加法项（空气光）。这种策略与之前的单像除霾方法[10]、[11]完全不同，后者严重依赖乘法项。这些方法的驱动力在于，乘法项会改变图像对比度[11]和颜色方差[10]。相反，我们注意到加法项会改变局部暗像素的强度。在暗通道先验的帮助下，乘法项被抛弃，加法项足以估计透射率。我们可以通过以下方式进一步概括(1)
其中t1和t2不一定相同，利用推导(11)的方法，我们可以估计t2，从而分离出加法项。该问题被简化为乘法形式（J(x) t_1），可以使用其他约束条件或前值来进一步分离这个项。在人类视觉研究的文献[15]中，加法项被称为面纱亮度，(13)可以用来描述透过面纱或高光看到的场景。
图6b显示了使用(12)估计的透射图。图6d显示了相应的恢复图像。我们可以看到，暗道先验对恢复鲜艳的颜色和揭示低对比度的物体是有效的，透射图是合理的。主要问题是一些光晕和块状伪影，这是因为在一个局部区域中，投射率并不总是恒
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[266395]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
