英语原文共 18 页，剩余内容已隐藏，支付完成后下载完整资料
基于模块合成的最新研究概况
Connelly Barnes, Fang-Lue Zhang
摘要：本文综述了国内外基于模块图像合成的研究现状。基于模块的方法合成输出图像复制小区域的示例图像。这项研究起源于一个叫做“纹理合成”的领域，即重点打造全规则或半规则纹理的小示例。然而最近，许多研究都集中于合成更大，更多样化的图像，如照片，照片集，视频和光场。此外，近年来的研究热点在于定制特定领域的合成工艺，如合成艺术或装饰笔刷，合成丰富的材料，合成三维作品。这份报告调查了最近的论文，并按照这些主题，特别是发表于2009以后的论文中，在这方面最新的调查。本次调查可以作为一个教程，为不熟悉这些主题的读者公关这些文件提供比较，并指出在这方面的一些公开的问题。
关键词：纹理；模块；图像合成；纹理合成
1 引言
由于数字摄影和社会媒体的广泛应用，数字图像具有巨大的丰富性和多样性。摄影师们常有收藏的成千上万的图像的个人照片，同时相机可以很容易地捕捉高清晰度视频，立体图像，范围图像和高分辨率材料样品。这一系列的图像数据刺激了对算法的研究，这些算法基于高级用户目标自动混合或修改现有的图像。
一个成功的研究线程操纵图像的基础上用户的目标是基于模块的合成。基于模块的合成涉及到一个用户提供一个或多个样例图像的算法，然后可以自动合成新的输出图像，同时匹配紧凑的区域称为模块或区域的示例图像。模块通常是固定大小的，例如，8times;8像素。
基于模块合成的区域智能来源追溯到一个称为“纹理合成”的区域，它着重于从小例子中创建规则或半规则纹理。参见图1 纹理合成的一个例子。纹理合成方法的全面调查，到2009年可用[ 1 ]。从那时起，研究越来越多地集中在更大和更多样化的图像的合成上，如照片，照片集，视频和光场。此外，最近的研究重点是定制特定问题领域的合成过程，例如合成艺术或装饰笔刷，合成丰富的三维制造的材料与合成。
图1纹理合成。该算法作为输入一个小的示例组成的规则，半规则，或随机纹理的图像。接着该算法合成一个大的、无缝的基于输入样本的输出纹理图像。
在本次调查中，我们涵盖了最近的论文，遵循这些主题，特别强调发表自2009以来的论文。这项调查还对这一领域的最新技术进行了易懂的介绍，使不熟悉这一领域的读者可以了解这些话题。 我们还提供国家的最先进的文件之间的比较并指出比较公开化的问题。
２ 概述
本调查文件的结构如下。在第3节中，我们通过查看基于模块的综合方法的工作原理，轻松介绍基于模块的综合。该介绍包括对大多数基于模块的综合方法的两个主要阶段的讨论：匹配，其找到适合于从样本复制的模块，以及混合，哪些复合物和混合模块在输出图像上。因为匹配阶段往往没有效果，所以在第4节中，我们接下来将进一步深入分析模块匹配阶段的加速度。对于本文的其余部分，我们然后研究了基于模块的综合的不同应用。在第5-7节中，我们讨论了图像修复，整个图像的合成，图像集合和视频的应用。在第8部分中，我们研究针对特定问题领域的综合算法，包括模仿艺术风格，艺术笔刷和装饰图案的综合，3D和3D制作的合成，流体合成和丰富材料的综合。最后，我们在第9节中讨论未来工作的可能领域。
３ 模块合成简介
基于示例的合成有两种主要方法：基于像素的方法，其通过将一个像素一次从样本复制到输出图像来合成，以及基于片段的方法，其通过从样本中复制整个片段来合成。 Wei等人详细讨论了基于像素的方法。[1]。 最近已经广泛使用基于模块的方法，所以我们专注于这些方法。
现在我们将介绍一下基于模块的综合方法的工作原理。 在图2中，表示出了基于模块的图像衔接方法。
图 2图像绗缝模块合成合成方法[2]。 左：输入范例。 右图：输出图像合成。 （a）和（b）显示了匹配阶段，其中通过（a）随机抽样或（b）基于与先前选择的补片的相似性来选择模块。 （c）显示混合阶段，其复合并混合在一起重叠的模块合成。 在这种方法中，“混合”实际上是基于最小误差边界切割来完成的。
重叠的修补程序可以混合在重叠区域[ 4 ]，或（c）最佳接缝，可以找到一个坚硬的修补程序之间的模块。右：（d）显示密集重叠的模块混合方法 ES，其中一个模块是围绕每个像素定义：所有重叠的颜色的平均计算的投票过程[ 6，7 ]。
大多数基于模块的综合方法有两个主要阶段：匹配和混合。
匹配阶段通过建立正在合成的输出图像中的位置与输入样本图像之间的对应关系来定位从示例中复制的合适的模块。 在图像绗缝[2]中，这是通过以光栅扫描顺序放置模块，然后选择与已经放置的模块最佳一致的多个候补模块。 这种匹配过程对于小纹理是直接的，但对于大的照片或照片集合变得更具挑战性，因此我们在第4节中更深入地讨论不同的匹配算法。
随后，混合阶段复合材料和混合物在输出图像上拼接在一起。 见图。 3用于说明这里讨论的不同模块混合方法。
图3基于模块合成的合成的混合方法。 左：用于混合稀疏模块合成的三种方法，即具有相对较小重叠的模块合成：（a）不规则形状的模块合成可以被合成[3]
（b）可以在重叠区域[4]中混合重叠的斑块，或（c）可以发现最佳接缝在模块合成之间进行硬切割。 右：（d）显示了一种用于混合密集重叠的模块合成的方法，其中每个像素周围定义模块合成：所有重叠颜色的平均值由投票过程计算[6,7]。
对于具有相对小的重叠区域的稀疏patchest，可以通过简单地合成不规则形状的模块合成[3]，使用重叠区域[4]中的混合操作，或使用动态规划或图形切割来找到最佳接缝来完成混合[2 ，5]（参见图2（c）和图3（a）-3（c））。在其他论文中，定义了密集的模块合成，使得在每个像素处都有一个模块合成。在这种情况下，许多模块合成同时重叠，因此混合操作通常作为重叠区域[6-8]中颜色的许多不同候选“投票”的加权平均值（见图3（d））。
合成可以进一步分为贪心算法，其合成像素或模块只有一次;迭代优化算法使用多遍来反复改善输出图像中的纹理。图像绗缝[2]方法如图1所示。 2是一个贪心的算法，因为它只需在单次通过中以光栅顺序放置模块。贪心算法的局限性在于，如果在合成中出错，算法不能再从错误中恢复。相比之下，密集模块合成算法[6-9]通常重复匹配和混合阶段作为优化。在匹配阶段，针对输出图像的当前估计值中的模块与示例进行匹配，以建立对纹理的潜在改进。接下来，在混合阶段，通过“投票”处理将这些纹理模块合成复制并混合在一起，以便在下一次迭代时对输出图像进行改进的估计。迭代优化方法通常通过在图像金字塔上运行优化来以粗略到精细的方式工作[10]：优化重复直到以粗分辨率收敛，然后以相继更精细的分辨率重复，直到目标达到图像分辨率。
４ 匹配算法
在本节中，我们讨论了在合成的输出图像和输入样本图像之间找到良好匹配的算法。如前一节所述，基于模块的综合算法有两个主要阶段：匹配和混合。匹配阶段定位要从样本图像复制到正在合成的输出图像的最佳模块。
一般来说，匹配是通过最小化a来实现的在输出图像中的部分或完全合成的模块之间的距离项和示例图像中的相同区域：搜索用于找到使该距离最小化的示例性模块。我们将距离称为模块距离或邻域距离。例如，在图1的图像绗缝[2]例中，如图2所示，通过测量块B1和B2之间的重叠区域中的相应像素颜色之间的L2范数来定义该距离。对于迭代优化方法[6,7]，斑块距离被频繁地定义为输出图像中的ptimes;p平方斑块的相应像素颜色与样本图像中相同大小的区域之间的L2范数。更一般来说，模块距离可以潜在地对任何图像特征进行操作（例如，SIFT特征在每个像素[11]上密集计算），使用任何函数来测量匹配的错误（包括不满足三角不等式的函数），并使用用于搜索来自输出图像模块和示例模块的对应关系的两个或更多个自由度（例如，除了搜索以找到示例模块的（x，y）平移坐标以匹配，旋转角度theta;和比例也可以搜索）。
通常，通过根据模块距离从合成输出S到样本E找到最近邻居来进行匹配。在Barnes等人的术语中[12]，对于两个（x，y）平移自由度的情况，我们可以将最近邻域（NNF）定义为函数f：o ff集合的S 7→R2，定义在所有可能的模块坐标（模块中心），映射到示例中对应的最相似模块的中心坐标。
尽管在匹配阶段的搜索可以通过穷举地抽取参数空间来以强力的方式进行，但是对于除了最小的示例图像之外的所有这些都是不切实际的，这倾向于是非常有效的。因此，对更多有效的匹配算法进行了大量研究。通常，研究集中在匹配的近似算法，因为精确的算法仍然较慢[13]，人类视觉系统对颜色的小错误不敏感。
我们将首先讨论模块的不同近似匹配算法，然后讨论如何将这些算法应用于计算机视觉中的对应查找算法。在图图4示出了许多近似匹配算法的关键组件的图示。我们现在讨论五种匹配算法。
使用相干匹配
找到良好的对应关系的一个简单技术就是利用一致性[14]。通常，用于匹配的最近邻域（NNF）以某种方式进行初始化，例如通过随机抽样。然而，随机对应相当差，也就是说，它们具有高近似误差。相干性的说明如图1所示。图4（a）。假设在合成期间，我们正在检查输出图像中的当前模块（显示为一个实心的红色方块），并且在示例中具有差的对应关系（显示为虚线红色方块，红色箭头表示对应关系），那么是，通信具有很高的模块距离。在这种情况下，可以从相邻的模块合成获得更好的对应关系，例如左边的蓝色。然而，相邻左模块合成（蓝色）的对应关系必须向右移动，以获得当前模块合成的适当对应关系。新（移动）候选对象以绿色显示。对于这个新的候选对象，与现有的红色对应的模块距离进行比较，评估模块距离，以及哪个对应的具有较低模块距离的对象被写回NNF。我们参考这个改进对应关系的最佳选择的过程。使用相干性的匹配也称为传播，因为它具有跨越图像传播良好对应的效果。通常，可能从较大的一组相邻的片段传播而不仅仅是左侧的片段：例如，如果以光栅顺序合成，则可能会从左侧片段，上述片段和左上角片段传播。
使用k相干匹配
在小重复纹理中找到对应关系的有效技术是k相干[15]。这将先前的相干技术与范例内的预先计算的k最近邻相结合。 k相干方法如图1所示。图4（b）。在示例上运行预先计算，该样本确定了示例中的每个模块（由绿色正方形示出），示例中的其他位置中k个最相似的模块是什么（以绿色表示，对于k = 2）。现在假设在合成过程中，与以前类似，我们正在检查一个当前的模块，其对应关系很差，以红色显示。我们首先应用相干规则：我们在示例中查找相邻的左模块合成的对应关系（以蓝色显示），并将示例贴图向右移动一个像素，以获得一致性候选（以绿色显示）。一致性候选人以及其最近相邻候选人（都显示为绿色方块）都被认为是改进当前模块对应关系的候选者。对于其他一致性候选者，例如对于上述模块，可以重复该过程。
图4不同近似匹配算法的关键要素。 匹配算法的目的是建立输出图像中的模块和示例中的模块之间的对应关系。 每个算法提出一个或多个候选匹配，从中选择与最小模块距离的匹配。
使用PatchMatch来匹配
当使用真实照片时，仅考虑k相干度才能找到良好的模块合成对应关系，因为它假设图像是相对较小且重复的纹理。 PatchMatch [8，12，20]允许在真实世界的照片中更好的全球对应。它通过随机搜索过程来增强先前的相干（或传播）阶段，其可以在整个样本图像上搜索良好的对应关系，但是将大多数样本放置在围绕当前对应关系的局部邻域中。具体地说，在以最佳当前对应关系为中心的抽样窗口内，对候选对象进行均匀采样。当每个模块被访问时，采样窗口最初具有与示例图像相同的大小，然后它的宽度和高度以两个幂来收缩，直到它达到1个像素大小。该随机搜索过程如图1所示。图4（c）。与局部敏感散列（LSH）或kd-tree的方法不同，PatchMatch占用的内存更少，更灵活：可以使用任意的模块距离函数。广义PatchMatch算法[12]可以利用任意自由度，例如旋转和缩放匹配，并且可以找到近似的k-最近邻，而不是仅一个最近邻。对于仅在L2范围内使用2D平移自由度的匹配模块的具体情况，当它们被天真地使用时，PatchMatch比kd-tree更有效[8]。然而，它比将LSH或kd-tree与一致性相结合的最先进的技术不太有效[17-19]。最近，基于图像匹配算法也是基于PatchMatch开发的，它们在图像集合之间进行操作：我们将在第6节中讨论这些算法。
使用区域敏感散列法匹配
局部敏感散列（LSH）[21]是从高维特征空间向下映射到适用于多维散列表中“桶”的较低维量化空间的维度量化和量化方法。例如，在模块合成的情况下，RGB颜色空间中的ptimes;p个正方形模块的特征空间可以是R3p2，因为我们可以将模块中每个p2像素的RGB颜色堆叠成大的向量。散列桶空间可能是一些较低维的空间，如N6。 LSH的“locality”属性是相似的特征，以高概率映射到相同的散列表桶。这允许通过简单的散列函数查找来存储和检索类似的模块。局部敏感散列函数的一个例子是随机超平面上的投影，随后进行量化[21]。最近关于使用LSH匹配模块的两个工作是相干敏感散列（CSH）[17]和PatchTable [16]。这两个作品有类似的散列过程，并且使用一致性来加速搜索。这里我们讨论PatchTable的散列过程，因为它仅从输出图像到样本计算匹配，而CSH计算从一个图像到另一个图像的匹配，反之亦然。
PatchTable [16]的模块搜索过程如图1所示。图4（d）。首先，在预计算阶段，创建一个多维散列表，它将一个散列桶映射到一个示例性的模块位置。然后将示例性模块插入散列表。第二，如图1所示。如图4（
全文共34416字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[143003]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
