图2. Framework 概述。我们的方法使用两个联合损失函数来解决未知图像，即整体内容损失和局部纹理损失。通过将图像馈送到预训练的内容预测网络，并且将输出与推理（reference）内容预测进行比较来导出整体内容损失。 通过将 x 馈送到预训练网络（称为纹理网络），并且在其特征图上比较局部神经补丁来导出局部纹理损失。
高分辨率图像修复的算法
给定一个带有孔洞的高分辨率图像，我们产生了多尺度输入其中S是尺度的数量。s = 1是最粗糙的尺度，s = S是输入图像的原始分辨率。我们以迭代多尺度方式进行这一优化。
我们首先将输入缩小到粗糙尺度，计算内容的推理（reference）。在实际操作中，我们在 upsample 到一个新尺度时，将宽度和高度加倍。 在每个尺度中，我们根据等式 1 更新，通过 upsample 设置优化初始，并通过 upsample 在尺度上设置内容 reference。我们因此迭代地取得高分辨率的修复结果。算法1 是对该算法的总结。
实验过程
数据集
我们在两个不同的数据集上评估了我们提出的方法：Paris StreetView 和ImageNet 。 不使用与这些图像相关联的标签或其他信息。 Paris StreetView 包含 14,900 个训练图像和 100个测试图像。 ImageNet 有 1,260,000 个训练图像，以及从验证集随机选取的 200 个测试图像。 我们还选择了20个含干扰项的图像，以测试我们用于真实干扰项移除场景的算法。
量化比较
我们首先在 Paris StreetView 数据集上就低分辨率图像（128×128）将我们的方法和基线方法进行了定量比较。表1中的结果表明，我们的方法实现了最高的数值性能。我们将这归因于我们方法的性质——和 PatchMatch 相比，它能够推断图像的正确结构，而和 Context Encoder 相比，它能够从已知区域传递纹理细节。（图3）我们优于PatchMatch的结果表明，内容网络有助于预测合理的结构。我们胜过 Context Encoder 的结果表明，由纹理网络执行的神经补丁合成方法的有效性。
表1：在Paris StreetView数据集上的数值比较。PSNR值越高越好。
图3：Context Encoder（损失）、Context Encoders（对抗性损失）和PatchMatch的比较。当从边界向孔洞区域传递纹理时，我们的方法比Context Encoder（既使用损失也使用对抗性损失）表现更好。在推理正确结构时，我们的方法比PatchMatch表现更好。
内容网络在联合优化中的作用。我们比较了使用内容约束和不使用内容约束的修复结果。如图4 所示，当不使用内容项来引导优化时，修复结果的结构出错了。
图4：（a）为原始输入，（b）是不使用内容约束产生的修复结果，（c）是我们的结果。
高分辨率图像修复
图5是在ImageNet数据集上的比较结果。从上至下：原始输入，PatchMatch，Context Encoder（同时使用和对抗性损失），我们的结果。所有图像分辨率都是512×512（本文中已缩小以适应页面显示）。
图6是在Paris StreetView数据集上的比较结果。从上至下：原始输入，PatchMatch，Context Encoder（同时使用和对抗性损失），我们的结果。所有图像分辨率都是512×512（本文中已缩小以适应页面显示）。
真实世界干扰项去除场景
最后，我们的算法很容易扩展为处理任意形状的孔洞。 这是通过估计任意孔洞周围的边界平方，填充孔洞内的平均像素值，并通过裁剪图像形成输入，以使正方形边界框处于输入的中心，并将输入调整为内容网络输入的大小。然后，我们使用已经训练的内容网络进行前向传播。在联合优化中，纹理网络对自然中孔洞的形状和位置没有限制。这是分离将内容和纹理项分离的额外好处。由于 Context Encoder 仅限于方孔，我们在图7中展示了和 PatchMatch 的对比结果。如图所示，我们提出的联合优化方法更好地预测了结构，并提供了清晰和逼真的结果。
图7：随意对象的去除。从左到右：原始输入，对象遮挡，PatchMatch 结果，我们的结果。
结论
作者使用神经补丁合成提升了语义修复的现有技术。可以看到，当内容网络给出较强的关于语义和全局结构的先验信息时，纹理网络在生成高频细节方面非常强大。有一些场景复杂的情况，这种新的方法会产生不连续性和违背真实的图像（图8）。此外，速度仍然是这种算法的瓶颈。研究人员的目标是在未来的工作中解决这些问题。
图8：这是两个联合优化法失败的例子。
论文：使用多尺度神经补丁合成修补高分辨率图像
摘要
对于带有语义合理性和情境感知细节的自然图像，深度学习的最新进展为填充这些图像上的大面积孔洞带来了乐观的前景，并影响了诸如对象移除这样的基本的图像处理任务。虽然这些基于学习的方法在捕获高级特征方面比现有技术明显更有效，但由于存储器限制和训练困难，它们只能处理分辨率很低的输入。即使对于稍大的图像，修复的区域也会显得模糊，而且可以看到令人不快的边界。我们提出一种基于图像内容和风格（style）约束联合优化的多尺度神经补丁合成方法，不仅保留上下文结构，而且通过匹配和适应具有与深度分类网络相似的中层特性的补丁，可以产生高频细节。我们在 ImageNet 和 Paris Streetview 数据集上评估了我们的方法，并实现了最先进的修复精度。我们表明，相对于之前的方法，我们的方法可以产生更清晰和更连贯的结果，特别是对于高分辨率图像来说。
论文地址：https://arxiv.org/pdf/1611.09969.pdf
Github 代码：https://github.com/leehomyc/High-Res-Neural-Inpainting
「招聘」
全职记者、编译和活动运营
欢迎实习生
以及人工智能翻译社志愿者
详细信息请进入公众号点击「招聘」
本文来自腾讯新闻客户端自媒体，不代表腾讯新闻的观点和立场
