英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
从单一图像中获取恶劣天气下的能见度
罗比·T·谭
伦敦帝国理工学院
通信和信号处理小组*
（曾就职于NICTA/澳大利亚国立大学）
摘要
诸如雾气和雾霾这样的坏天气会显著地降低场景的能见度。 从光学角度而言，这是由于大量存在于大气中的尘埃微粒吸收并散射了光线。在计算机视觉领域，吸收和散射光线的过程通常可以用光的直接衰减和空气光的线性组合进行模拟。基于这种模型，已有一些方法被提了出来，这些方法绝大多数需要大量的关于同一场景的图片输入，这些图片或者有着不同程度的极化现象，或者有着不同的大气状况。这种需求正是这些方法的主要缺点，因为在许多情形中，想要完全满足这些要求实在太难了。为了解决这个问题，我们将介绍一种只需要一张输入图片的自动化方法。这种方法的提出基于两个基础的发现：第一，与被恶劣天气降低了可视性的图片相比，有较强能见度的图片（或者是晴朗天气下的照片）有着更高的对比度。第二，变化与多样性主要取决于观察者与观察物体之间的距离的空气光，变得更平滑。依赖于这两个发现，我们在马尔可夫随机场的架构下开发了一种代价函数，这一函数可以由多种不同的技术，例如图像分割或者是置信度传播算法，进行有效的优化。 这种方法不需要输入图片的几何信息，对于彩色图片和灰色图片都是适用的。
1介绍
恶劣天气下的低可视性是计算机视觉应用中的一个主要问题。大多数应用于监视系统、智能车辆系统、室外物体识别系统等的自动系统都假定输入图像有着清晰的可视性。不幸的是，在多数情况下这种假定并不总是正确的，因此，加强可视性是一项不可避免的任务。
光学上而言，糟糕天气下的低可视性是由大量存在于空气中的尘埃微粒引起的，这些微粒在参与媒介中有着惊人的规模和分布密度，穿过大气层传递而来的光以及由某个物体反射而来的光会被那些尘埃微粒吸收并分散，从而导致一处场景的可视性降低。在文献中，已经提出了几种方法。第一种方法是使用偏振滤波片（例如[10，11]）。这种策略的主要想法在于利用两个或多个具有不同偏振度的同一场景的图像，这些图像是通过旋转附着在相机上的偏振滤波片获得的。这种策略的普遍的缺点，在寻找最大和最小DOP时，这些方法不能应用于动态场景，因为动态场景的变化比滤波片旋转要快。
第二种策略是利用从恶劣天气场景拍摄的多张图像（例如[1，8，7]）。这种策略的基本思想是利用同一场景中具有不同参与媒介属性的两个或多个图像的差异。尽管这种策略可以显著地增强可视性，但遗憾的是它们的需求使得它们不能立刻交付之前从未遇到过的场景的结果（不得不等待介质的属性发生改变），此外，与第一种方法相似，此方法也不能处理动态场景。
第三种策略是运用单个图像并且需要近似地输入场景的立体几何模型（例如[6，4]。 与前面两种策略相比，这种策略解决了大量需求图片的问题；然而，因为真实世界的架构（自然场景和人工制造的场景）存在着显著的差异，因此它们对近似立体几何模型的要求是一个大问题。 此外，Narasimhan等所使用的方法并不是趋于自动的，它需要使用者进行交互。
图1.左图：一张被雾气缠绕的图片。右图：利用本文所讲述的方法进行可视度加强后的结果。
为了解决这个问题，我们引入了一种只需要单个输入图像的自动化方法。与现存的使用单个图像的策略不一样，本次提出的方法并不需要输入图像的几何信息也不需要任何的用户交互。该方法基于两个基础的观察：首先，可视性高的图片（或者说是晴朗天气下的图像）与受坏天气影响的图像相比有着更大的对比度。第二，空气光的变化主要取决于物体与观察者之间的距离，这种变化往往是平滑的。依赖于这两个观察，我们在马尔可夫随机场（MRFs）的框架下建立了一个代价函数，它可以通过各种技术（如图像切割或置信度传播）对图像进行有效的优化，这种方法对于彩色图片和灰度图都是适用的。
如下是该方法的简要概述。假设给定一个输入图像，我们首先估计它的大气光，从中我们可以获取光的色度。利用光的色度我们移除输入图像的光的颜色。随后，我们计算每个像素的数据成本和平滑度成本。数据成本是根据从图像中裁剪出的小补丁的对比度计算出来的。平滑度成本是由两个相邻像素的标签的差值或距离计算出来的，其中标签与空气光的值相同。这些数据成本和平滑度成本建立起完整的MRF从而可以使用现有的推理方法进行优化，产生空气光的估计值。最后，在估计的空气光的基础上，我们计算了代表增强能见度场景的直接衰减。请注意，在本文中，我们并不打算完全恢复场景的原始颜色或者漫反射系数。我们的目标是增强输入图像的对比度，从而提高图像的可见性。
最近，Fattal [2]独立开发了一项仅仅需要一张输入图像的方案。该方法使用的是一个基于本地窗口的操作和一个图形模型。然而，与我们提出的方法不同的是，上述方案试图分离不相关的领域，即物体阴影和粒子衰减。
本文的其余部分组织如下。在第二部分中，我们描述了恶劣天气的光学模型，并根据色度推导了该模型。在第三部分，我们明确地定义了可视性增强的问题。在第四部分，我们将介绍该问题的理论解决方法。然后在第五部分，我们描述了在实际框架中的解决方案的细节。在第六部分，我们将展示一些关于真实图像的运行结果。最后，在第七部分，我们探讨了未来的工作并且对本文章进行了总结。
2 光学模型
通常用于处理恶劣天气问题的数学模型，尤其是在计算机视觉领域中，可被描述为
公式的第一项是直接衰减，第二项是空气光。I是图像强度，x是二维空间位置坐标。代表大气光，这个量通常假设为全局常量，因此它就与位置坐标x无关。rho;是图像中物体的反射率。beta;是大气衰减系数。d代表着图像中物体与观察者之间的距离。假设方程中的beta;对于不同的波长是常数，该假设在许多用于处理尘埃微粒的算法中很常见，这些粒子例如雾、霾、气溶胶等，大小比光的波长大[5]。此外，对于输入图像[7，6]中的不同空间位置,beta;也是常数。注意公式中的I，，rho;为颜色向量（rgb），而其余变量为标量。公式（1）主要是基于适用于透明物体的Lambert-Beer定律，这条定律说明光在透明材料中传播时会指数级地被吸收或衰减。图2显示了模型的图形描述。在本文中，恶劣的天气指与霾、水汽、雾、气溶胶等有关的情形，但也可以再进一步扩展到雨或雪，只要光学模型能近似表示真实的物理世界即可。
图二：光学模型的图像描述
色度
在我们的算法中，我们打算用色度这一概念来描述公式（1），并且因此将图像的色度定义为如下公式：
其中索引c表示的是颜色通道（该通道可以是r或者是g或者是b），这使得成为了I的基本组成部分之一。如果我们假设客体是无限远的（d=），根据式（1），由于=0，图像色度将仅取决于大气光（）。我们把这个比值称作“光的色度”，其定义来源于式（2）：
因此，如果我们假设没有散射粒子的影响（=1），这就意味着没有空气光，那么图像的色度将完全取决于直接衰减。 我们将这种色度称为“客体色度”。由式（2）和式（1）我们可以推导出
通过使用公式（3,4），我们可以以色度的形式重写公式（1）为：
其中
D和A都是标量值，与此同时gamma;和alpha;是归一化颜色向量。从它们的色度的定义来看，我们可以做如下说明
大气光和光的色度
在很多天气糟糕的情况下，尤其是白天，天空阴沉，我们可以忽略太阳光的存在，并且假设大气光的值（）为全局不变。根据式（1），这个全局变量可由输入图像中具有最高强度的像素获得。由于这些像素代表着一个无限远处的客体（d=infin;），我们假设在图像中可以看到天空，并且图像中没有饱和像素。 所以，拥有的值使我们能够通过将的值插入式(3)这种方式获得光的色度值（alpha;）。
白色大气光
通过使用光的色度（alpha;），我们可以将输入图像的大气光的颜色转换成白色。只要用公式（5）中每个颜色通道的图像强度除以相应的就能实现
其中是标准化的客体色度。是空气光颜色为白色时的标准化输入图像。最后一个公式可以用颜色向量的形式表示
其中和是颜色向量，并且其余变量都是标量。图3显示了标准化后的结果，为了显示（即强度范围从0到255），我们把最后一个方程的两边同除以一个标量值。在本文中我们除以3。最后一个操作不会更改式（11）中描述的相关性。
图3. 左图：输入的图片。右图：正常化环境光线之后的结果
3问题定义
考虑式（11）并假设我们有和的值。因此，本文的目标是通过图像来估计D(x)的值。这些值代表着不受散射或吸收的影响的图像。
通过空气光
估计的问题事实上等同于估计A的值。我们可以使用以下步骤从A中算出：首先，根据等式（7）：
其中。第二，根据等式 （11）：
因此，我们可以首先估计A的值，而不是直接估计的值，。这是相当容易计算的，因为它独立于物体反射率（rho;），并且完全依赖于深度，d（回想一下我们曾假设过beta;和是全局常数）。
4使用一张图像的解决方案
第二节中描述的问题是一个完全不适定的问题。式子（11）中已知变量的数量少于未知变量的数量，然而，我们可以考虑一些线索或者观察结果。
1.输出图像必须比输入图像I具有更好的对比度。
2. A值的变化完全取决于物体的深度，d，这就意味着具有相同的深度的物体不管它们的反射率（rho;）是多少将具有相同的A值。因此，相邻像素的A值往往是相同的。 此外，在许多情况下，A的值在小范围内的变化是平稳的。深度不连续点处的像素例外，其数量相对较小。
除了上述两种主要发现，我们也可以这样考虑
3.受恶劣天气影响的输入图像通常取自室外的自然场景。因此，的正确取值必须遵循晴天自然图像的特点。
4.1最大化对比度
对于第一个线索，我们根据边缘的数量定量定义图像对比度，形式上可以写成
其中nabla;是x轴和y轴上的微分算子。这个等式意味着对比度越高的图像产生的边缘数量越多。换句话说，晴天图像比受恶劣天气影响的图像有更多的边缘：( ) gt; ( )。
从第二部分，我们了解到根据等式（7），的值可以从A中获得：0 le; A(x) le;. 因此，如果我们有一个小的图像补丁，p，它包含着拥有相同深度并且受糟糕天气影响的客体，那么就会有一个标量值A,它可以给出正确的值，其中值必须遵守以下约束：
因为0le;le;1，所以第二个约束就是等式（4,6）的直接结果。
图4显示了晴天的自然图像和图像上的人造雾，其中空气光（A）设置为常数。我们将人造雾图像裁剪成一小块正方形补丁（红色边框），根据A的所有值来计算（），并在图5中绘制了两者的相关性。从图中可以观察出（)的值随着A的增长而增长并在达到一定峰值后下降。这种快速下降主要是因为施加了第二个约束条件（等式（16））。
我们认为对于任何受恶劣天气影响的场景，只要图像补丁中有纹理，其相关性就存在，，这就意味着() gt; 0. 证明如下。对于式（14，13， 12）可得：
图4. 左图：一张自然图像 右图：左侧图像的人工合成雾气，其中A被全局设置为常量（在除法后等于153）
图5：相对于A的边数的分布（在红色矩形区域中的）。y轴是 x轴是A，峰值在A=167附近。
因为是常数并且对于同一图像补丁 拥有相同的值，那么 ( )将与A成正比。这解释了图5中的增加。然而，根据等式（16）中的第二个约束条件，如果 gt; 则设置= 0，因此不管A是否增加 ( )都将下降。注意，d与x无关，因为我们假设A在整个补丁块中都是常数。
在我们的框架中，为了提高可见性，我们使用()作为我们的成本函数。尽管()的最大数量并不总是代表A的实际值，但它表示输入图像的可见性增强。。正如引言中提到的，在本文中我们不打算恢复晴天里图像的原始颜色或反射率。我们的主要目的是基于对场景的颜色有一定程度准确性的要求下提高恶劣天气下场景的可见性。
4.2空气光的平滑度约束
根据第二条线索A在整个图像上的变化对于大多数像素来说是平滑的。这促使我们使用马尔可夫随机场模型来模拟空气光（A）。我们将MRFS的势函数写成：
其中是一个以x为中心的小补丁,假设它有一个常值（其中equiv;A(x)）。eta;是平滑项的强度，表示x的相邻像素。我们定义第一项,即数据项为：
通过把每个的值代入到等式（12,13）中可以得到[的值。m是一个常量，用于规范化，因此0le;phi;（ | ）le;1。m的值取决于补丁块的尺寸。第二项（平滑度项）被定义为：
这个方程增加了邻域的平滑度。
要找到{}的所有值或标签，我们不得不利用现有的推理技术例如图像切割或置信度传播算法等来最大化Gibbs分布中描述的p({})的概率分布
5 计算方法
在本部分，我们进一步解释了公式（17）中描述的框架的详细实现，并讨论了一些其他问题，来改善计算结果和计算时间
5.1 算法
伪代码5.1展示了我们方案的详细算法。给定一个输入图像I，在步骤1中，我们估计大气光的值 。这一步可以通过寻找图像I中强度最高的小点来实现。在第2步中， 我们利用式（3）从中计算光色度alpha;。然而，为了更精确，我们可以使用现有的色常性方法（例如[3]）来估计alpha;。有了alpha;的值，在步骤3中，我们使用公式（8）移除I的照明颜色然后生成. 在第4步中我们计算中每个像素的数据成本。伪代码5.2描述了计算数据成本的算法细节。
伪代码5.2开始迭代中的每个像素。x表示像素的平面位置。在步骤4.1中，我们裁剪一个以x为中心的的小补丁。n必须要足够小，以保证补丁中的空气光是统一有效的，但也不能太小，以至于我们可能会丢失纹理或边缘信息。补丁的尺寸可以是5times;5或7times;7，这取决于输入图像的尺寸和比例。在步骤4.2和4.2.1中，对于A的每个可能值(我们称之
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[266393]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
