Region Filling and Object Removal by Exemplar- Based Image Inpainting
Criminisi*, P. Peacute;rez and K. Toyama Microsoft Research, Cambridge (UK) and Redmond (US)
1.INTRODUCTION
This paper presents a novel algorithm for removing large objects from digital photographs and replacing them with visually plausible backgrounds. The algorithm effectively hallucinates new colour values for the target region in a way that looks “reasonable” to the human eye. In previous work, several researchers have considered texture synthesis as a way to fill large image regions with “pure” texturesrepetitive two-dimensional textural patterns with moderate stochasticity.
As effective as these techniques are in replicating consistent texture, they have difficulty filling holes in photographs of realworld scenes, which often consist of linear structures and composite textures – multiple textures interacting spatially. The main problem is that boundaries between image regions are a complex product of mutual influences between different textures. In constrast to the two-dimensional nature of pure textures, these boundaries form what might be considered more one-dimensional, or linear, image structures.
These image inpainting techniques fill holes in images by propagating linear structures (called isophotes in the inpainting literature) into the target region via diffusion. They are inspired by the partial differential equations of physical heat flow, and work convincingly as restoration algorithms. Their drawback is that the diffusion process introduces some blur, which becomes noticeable when filling larger regions.
The technique presented here combines the strengths of both approaches into a single, efficient algorithm. As with inpainting, we pay special attention to linear structures. But, linear structures abutting the target region only influence the fill order of what is at core an exemplar-based texture synthesis algorithm. The result is an algorithm that has the efficiency and qualitative performance of exemplar-based texture synthesis, but which also respects the image constraints imposed by surrounding linear structures.
The algorithm we propose in this paper builds on very recent research along similar lines. The work decomposes the original image into two components; one of which is processed
by inpainting and the other by texture synthesis. The output image is the sum of the two processed components. This approach still remains limited to the removal of small image gaps, however, as the diffusion process continues to blur the filled region. The automatic switching between “pure texture” and “pure structure-mode” is also avoided.
In this paper we present a simpler and faster region filling algorithm which does not suffer from blur artefacts. One of the first attempts to use exemplar-based synthesis specifically for object removal was by Harrison. There, the order in which a pixel in the target region is filled was dictated by the level of “texturedness” of the pixelrsquo;s neighborhood. Although the intuition is sound, strong linear structures were often overruled by nearby noise, minimizing the value of the extra computation. A related technique drove the fill order by the local shape of the target region, but did not seek to explicitly propagate linear structures.
Recently Jia et al. have presented a technique for filling image regions based on a texture-segmentation step and a tensor-voting algorithm for the smooth linking of structures across holes. Their approach has a clear advantage in that it is designed to connect curved structures by the explicit generation of subjective contours, over which textural structures are propagated. On the other hand, their algorithm requires (i) an expensive segmentation step, and (ii) a hard decision about what constitutes a boundary between two textures. Our approach avoids both issues through the use of a continuous parameter based on local gradient strength only. A careful fusion of these approaches may result in a superior algorithm, but results suggest that both approaches already achieve a reasonable measure of visual credibility in filling holes.
Finally, Zalesny et al. describe an algorithm for the parallel synthesis of composite textures. They devise a special- purpose solution for synthesizing the interface between two “knitted” textures. In this paper we show that, in fact, only one mechanism is sufficient for the synthesis of both pure and composite textures.
Paper outline. Section II presents the two key observations which form the basis of our algorithm. The details of the pro- posed algorithm are described in sect. III. Finally, a large gallery of results on both synthetic images and real-scene photographs is presented in sect. IV. Whenever possible our results are com- pared to those obtained by state of the art techniques.
2. KEY OBSERVATIONS
A.Exemplar-based synthesis suffices
The core of our algorithm is an isophote-driven image-sampling process. It is well-understood that exemplar-based approaches perform well for two-dimensional textures. But, we note in addition that exemplar-based texture synthesis is sufficient for propagating extended linear image structures, as well; a separate synthesis mechanism is not required for handling isophotes.
Figure 2 illustrates this point. For ease of comparison, we adopt notation similar to that used in the inpainting literature. The region to be filled, i.e., the target region is indicated by Ω, and its contour is denoted delta;Ω. The contour evolves inward as the algorithm progresses, and so we also refer to it as the “fill front”. The source region, Phi;, which remains fixed throughout the algorithm, provides samples used in the filling process.
All that is required to propagate the isophote inwards is a simple transfer of the pattern from the best-match source patch. Notice that isophote orientation is automatically
剩余内容已隐藏，支付完成后下载完整资料
基于样本块图像修复技术的区域填充与目标去除
一 引言
这篇文章提出了一种新的算法，用于去除数字图像上的大块目标，并用视觉上看起来和原来一样的背景块替代它。该算法以一种令肉眼看起来合理的方式有效地对目标区域填充，赋予新的色彩值。在以前的工作中，一些研究者已经考虑到把纹理合成作为一种应对大区域破损的图像修复方式，只需图像是具有少量随机性的重复的二维规则图案。
尽管这一技术在修复连续纹理上是有效的，其很难在真实世界场景的照片中填充空洞，因为这些场景通常由线性结构和复合纹理、多纹理在空间上相互作用所组成的。主要的问题是图像区域之间的边界是不同纹理之间相互影响产生的。在对纯纹理的二维性质的解释中，这些边界形成了一种可以被认为超出了一维或线性的图像结构。
这些图像修复技术通过将线性结构（称为修复图像中的等光波）通过扩散传播到目标区域来填充图像中的破损区域。它们是受到物理热流的偏微分方程的启发来诞生的，并且作为一种恢复算法工作的相当有效果。这一算法的缺点是扩散过程产生了一些模糊区域，这一缺点在填充较大区域时变得相当明显。
这里提出的算法结合了前两种算法的优势，其具有简单，高效的特点。在修复过程中，我们格外关注线性结构。但是，与目标区域邻接的线性结构仅仅影响基于样本的纹理合成修复算法的填补顺序。因此，这一算法不仅在基于样本的纹理合成中修复效率和质量都极高，同时，它也尊重周围线性结构所施加的图像约束。
这篇文章所提出的的算法，建立于最近类似的研究基础上。这个算法所做的工作就是把原始图像分解为两个部分，其中一个部分进行图像修复，另一个部分进行纹理合成。最后呈现的结果为这两者的结合。这种方式仍然局限于处理小尺度图像破损，然而，由于扩散过程继续模糊填充破损区域。纯纹理与纯结构之间仍然不能进行自动转换。
这篇文章中，我们提出了一种更简单，更迅速的区域图像修复算法，其不受模糊影响。Harrison是第一个尝试使用基于样本的合成，特别是用于对象的去除方面。那一次，目标区域中的像素被填充的顺序是由像素邻域的纹理的级别决定的。虽然这一判断是合理的，但是强线性结构经常被附近的噪音干扰，减少额外估算值。相关技术通过目标区域的局部形状来驱动填充顺序，但不寻求明确地传播线性结构。
最近Jia等人提出了一种基于纹理分割步骤和张量投票算法的图像区域填充技术，其用于跨越孔的结构的平滑连接。他们的方法有明显的好处，其被设计成通过明确地生成主观轮廓来连接弯曲结构，并且，纹理结构在这种主观轮廓上传播。但是，另一方面，它们的算法需要（i）一个花费极大的分割步骤，和（ii）艰难决定出用什么来构成两个纹理之间的边界。我们的方法通过使用基于局部梯度强度的连续参数来避免这两个问题。即使结果表明，这两种方法在填补图像空洞上已经有很好的视觉效果，但是这些方法的巧妙融合可能会导致一个更加优越的算法。
最后，Zalesny等人描述了一种并行合成复合纹理的算法。他们给出一种特殊的方法，用于合成两个紧密结合的纹理之间的接口。在这篇文章中，我们展示出，事实上，只有一种方法可以有效地合成不管是单一，或者复合纹理。
这篇文章的脉络是这样的。第二章节介绍两种关键的言论，它们是我们算法的基础。所提出算法的细节描述在第三章节呈现。在第四章节，进行大量的照片实验，进行实验总结。
二 关键理论
（一）基于样本的合成
我们的算法的核心是一个等照度驱动的图像采样过程。基于样本的纹理合成方法对于二维纹理表现良好是很好理解的，但是，我们也注意到基于样本的纹理合成方法对于延伸线性图像结构的扩展效果也是显著的，同时，其不需要单独的合成机制来处理等值线。
图2很好地说明了这一点。为了便于比较，我们采用类似于在修复文献中使用的符号。把要填充的区域，即目标区域表示为Omega;，那么其轮廓表示为delta;Omega;。轮廓随着算法的发展而向内演化，因此我们也把它称为“填充前沿”。初始区域，在整个算法中保持固定，提供填充过程中使用的样本。
最佳匹配块的图案就是向内转移所需要的。要注意的是，等照度方向是自动保存的。在图中，尽管原始边缘与目标轮廓delta;Omega;不正交，但是传播的结构保持了与原始区域相同的取向。
在此项研究中，我们专注于基于块的图像修补方式。这种方式提高了修复的执行速度。更进一步地，我们发现基于块的图像填补提高了扩散结构的准确度。
（二）修复顺序至关重要
前一节已经展示了基于范例的填充如何能够同时传播纹理和结构信息。这一部分说明了输出图像合成的质量受到填充过程进行的顺序的高度影响。此外，我们列出了一些理想性质的“理想”填充算法。
标准同心层填充（洋葱皮）与所需填充行为之间的比较在图1中示出。图1B、C、D示出了通过逆时针洋葱剥离策略逐步填充凹目标区域。正如可以观察到的那样，填充的贴片的顺序产生背景图像区域之间的水平边界，意想不到地重建为一条曲线。
(fig. 1.)
一个更好的填充算法将是一个赋予合成区域更高优先级的算法，该目标区域位于图像结构的延续的目标区域，如图所示，与线性结构的正确传播的特性一致，后者算法对目标区域形状的变化也更加稳健。
同心层排序，加上基于贴片的填充可以产生进一步的伪影（参见图2）。因此，填充顺序是非参数纹理合成的关键。然而，据我们所知，设计一个明确地鼓励线性结构的传播（连同纹理）的填充顺序从未被探索过，到目前为止，默认的宠儿一直是“洋葱皮”策略。
(fig. 2)
良好填充算法的另一个期望特性是避免图像边缘被无限增长时发生的“过度拍摄”伪影。这里的目标是在结构化区域的传播和纹理区域的传播之间找到良好的平衡（图1b′，c′，d′），而不采用两个ad-hoc策略。如在下一节中所展示的，我们提出的算法通过将结构“推”与一个趋于减少目标区域轮廓中锐利的内射附属物的置信项相结合来实现这样的平衡。正如将要证明的，本文提出的填充算法克服了传统同心层填充方法的特点，并实现了期望的性质：（i）线性结构的正确传播，（ii）对目标形状的鲁棒性。区域，（iii）平衡同时结构和纹理传播，所有在一个单一的，高效的算法。现在我们继续我们的算法的细节。
首先，给定输入图像，用户选择要移除并填充的目标区域Omega;。源区phi;，可以定义为整个图像减去目标区域（phi;＝Omega;），作为目标区域周围的扩展带，或者可以由用户手动指定，一旦确定这些参数，区域填充就自动进行。
在我们的算法中，每个像素保持一个颜色值（或“空”，如果像素是未填充的）和一个置信值，这反映了我们对像素值的信心，并且一旦像素被填充，它就被冻结。在算法的过程中，沿着填充前端的补丁也给出了一个临时优先级值，它决定了它们被填充的顺序。然后，我们的算法迭代以下三个步骤，直到所有像素已被填充：
（1）计算补丁优先级。我们的算法通过一个最佳的第一填充策略来执行合成任务，该策略完全依赖于被分配给填充前端上的每个补丁的优先级值。优先级计算偏向于这些情况：（i）在强边的延续上，（ii）被高置信像素包围。
置信项C（p）可以被看作是围绕像素P的可靠信息量的度量。它的意图是首先填充那些已经填充了更多像素的那些补丁，并且附加优先于被填充的像素（或者是那些从不是目标区域的一部分）。
如图3A所示，这将自动填充对填充前的某些形状的偏好。例如，包括目标区域的拐角和薄卷须的补丁将首先被填充，因为它们被来自原始图像的更多像素包围。这些补丁提供了更可靠的信息来匹配。相反，在填充到目标区域的填充像素的“Paulias”尖端处的补丁将倾向于被搁置，直到填充更多的环绕像素为止。
(fig. 3)
在粗略的水平上，（1）的术语C（p）近似地执行理想的同心填充顺序。随着填充的进行，目标区域的外层中的像素将趋向于以更大的置信度为特征，并因此被更早地填充；目标区域的中心的像素将具有较小的置信值。
（2）传播纹理和结构信息。一旦计算了填充前沿的所有优先级，就找到了具有最高优先级的补丁P。然后，我们把从源区域Omega;提取的数据来填充它。
在传统的修复技术中，像素值信息是通过扩散来传播的。如前所述，扩散必然导致图像平滑，这导致模糊填充，尤其是大区域（参见图4F）。
(fig. 4)
每次一个块足以实现从源区域phi;到目标区域Omega;的结构和纹理信息的传播。事实上，我们注意到，不进一步明确地依赖于源区的统计的像素值（例如，添加噪声、平滑等）的任何进一步操作，更有可能降低填充区域和源区域之间的视觉相似性，而不是改善它。
（3）更新置信度值。在这些附属物附近的目标区域的像素被小的置信度包围（大多数相邻像素是未填充的），因此，由于图像边缘的“推”被置信项减轻。如在结果部分中所示，通过在填充前部上的所有贴片的单一优先级计算的机制，实现了效果的优美和自动平衡和目标区域的有机合成。注意，（1）中只规定填充发生的顺序。使用图像补丁的实际填充实现纹理合成。
此外，由于目标区域的填充顺序仅由优先级函数P（p）决定，所以我们避免在现有的基于补丁的方法中预先定义任意填充顺序。我们的填充顺序是图像属性的功能，导致有机合成过程，消除了“断裂结构”伪影的风险。此外，由于基于梯度的导向倾向于传播强边，因此减少了块状和不对准伪影（虽然没有完全消除），而没有贴片切割（绗缝）步骤或模糊诱导的混合步骤。
必须强调的是，我们的算法在任何阶段都不使用显式或隐式分割。例如，（1）中的梯度算子从未被阈值化，采用的数字都是实值。
三 结果与比较
在这里，我们应用我们的算法的各种图像，范围从纯粹的合成图像到全彩色照片，其中包括复杂的纹理。在可能的情况下，我们对先前提出的方法进行并列比较。在其他情况下，我们希望读者将参考我们的测试图像的原始来源（许多是从以前的文献上的修复和纹理合成），并比较这些结果与早期工作的结果。
在所有的实验中，补丁大小被设置为大于源区中最大的纹理或最厚的结构（例如，边缘）。此外，除非另有说明，源区已被设为phi;＝Omega;。所有实验都运行在2.5GHz奔腾IV，具有1GB的RAM。
如上所述，以类似于在修复中使用的前传播算法的方式传播置信度。然而，我们强调，不像修复，它是沿着前部（并且确定填充顺序）传播的置信值，而不是从源区采样的颜色值本身。
最后，我们指出的是，尽管大尺寸的边缘区的清除和填充线，是在任何区域中发现的非常尖锐的源区，即有一个相关的扩散模糊。这是一个示范性的基于纹理的方法。
在所有这些情况下，主要困难是由于（最终）纹理边界是目标区域中最受限的部分，因此应该首先填充。但是，除非明确确定填充顺序，否则纹理边界通常是最后要填充的部分。本文提出的算法是为了解决这个问题，因此更自然地扩展了两个纹理之间的轮廓以及图中的垂直灰色道路。
现在我们比较手绘图像恢复的结果。在图5中，目标是移除前景文本。我们的结果（图5B）与传统修复方式中所获得的结果基本上是不可区分的。这个例子演示了这两种技术在图像恢复应用中的有效性。
（fig.5）
它是在实际照片对大对象进行删除，然而，这是我们的优势，我们的方法效果很明显。图4显示了一个真实的照片，一个蹦极跳中跳跃的例子。在原始的工作中，薄的弹力绳通过图像被去除。为了证明我们的算法的能力，我们删除了整个人（图4E）。诸如海岸线和房屋边缘的结构已经被自动地传播到目标区域，连同灌木、水和屋顶瓦的似是而非的纹理；并且所有这些都没有任何特定于该图像的先验模型。
为了进行比较，图4F示出通过图像着色5填充相同的目标区域（图4B）的结果。由于修复使用扩散来传播颜色值，所以在目标区域引入了相当大的模糊。此外，高频纹理信息是完全不存在的。
图6再次证明了所提出的方法在防止结构伪影方面的优势。虽然洋葱皮的方法产生了一个变形的地平线（图6F），但是我们的算法将天空和海洋之间的边界重建为一条令人信服的直线（图6F）。在填充过程中，目标区域的拓扑变化是毫不费力地处理的。在图6中，前景人物已经被手动选择，并且相应区域自动填充。在输出图像中的合成区域令人信服地模仿复杂的背景纹理，没有显著的伪影。
(fig. 6)
最后，这些图片呈现了从真实照片中去除对象和区域填充的进一步示例的图库。这些结果证明了我们的算法的功率和通用性。
四 结论与未来工作
本文提出了一种从数字照片中去除大型物体的新算法。结果是一个图像，其中所选择的对象已经被一个视觉看起来一样的背景所取代，该背景模仿源区的样式。我们的方法采用了一个基于样例的纹理合成技术，由一个统一的方案来调制目标区域的填充顺序。像素保持置信值，连同图像等光光，影响它们的填充优先级。该技术能够用一个简单的算法将线性结构和二维纹理传输到目标区域。对比实验表明，简单地选择填充顺序是必要的，并且足以处理这一任务。
我们的方法不弱于先前设计的用于恢复小划痕的技术，并且在移除较大对象的情况下，它在感知质量和计算效率方面显著优于先前的工作。
此外，已经证明了对目标区域的形状和拓扑结构的变化的鲁棒性，以及其他有利的特性，例如：（i）边缘锐度的保持，（ii）不依赖于图像分割和（iii）平衡区域填充以避免过度拍摄伪影。
此外，基于补丁的填充有助于实现：（i）速度效率，（ii）纹理合成的准确度（更少的垃圾增长），以及最后（iii）线性结构的精确传播。
我们的技术的局限性是：（i）不能找到最佳匹配块的区域的合成不能产生很好的结果；（ii）该算法不适合用来处理曲面结构，（iii）最后，我们的算法不处理深度模糊（如：在一个堵塞区域内什么在什么之前）。
目前，我们正在研究构建真实数据和设计评估测试的可能性，这将使我们能够量化每个算法的性能。这不是一个简单的任务。此外，我们正在研究当前算法的扩展，以处理静态照片中弯曲结构的精确传播，以及从视频中移除对象，这将带来一整套全新的挑战。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[22576]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
