图像修复

简介

图像修复这一看法十分好了解,该义务可用于众种运用,其目标是众样的。可以是为了避免图像质料进一步恶化(比如,照片中的裂痕或胶片中的划痕和灰尘雀斑);可以是为了添加或删除元素(比如,从照片中删除加盖日期和红眼),也可以用于图像编辑:移除不需求的图像实质,用合理的图像实质补偿移除后的空白,下图给出了一个例子:

image.png

[描画根源:心中无码:这是一个能主动脑补漫画空白部分的AI项目|中文字幕AV]

开展历史

早期的图像修复手腕比较简单,一组去除遮挡算法中,1993年Nitzberg等人提出了一种以图像支解为目标去除遮挡的技能,其基本思念是将弹性最小的相同灰度的T形连接点连接起来。但该技能主要针对简单图像而开辟,不适用于自然图像。

1995年,Kokaram等人运用运动估量和自回归模子来对相邻帧的影戏中的缺损举行插值,其基本思念是将相邻帧中的右像素复制到间隙中。但该技能不行运用于静止图像或要被修复的区域跨过许众帧的影戏。

Hirani和Totsuka联合了频率和空间新闻,以便用选定的纹理填充给定区域。这是一种十分简单的技能,但当时却发生了令人难以置信的好结果。另一方面,该算法主要处理纹理合成(而不是构造化被页京,而且请求用户挑选要复制到要修复的区域的纹理。假设要交换的区域掩盖几种差别构造的图像,用户需求对该区域举行支解,区分举行交换,十分耗时。

1998年Masnou和Morel对Nitzberg等人的算法举行了扩展,他们提出了一个一般变分公式。该算法运用程度线构造(level line structure),通过连接抵达要修复的区域的边境的等光芒(相等灰度值的线)的点来施行修复。但据作家描画,要修复的区域仅限于具有简单的拓扑构造的区域。另外,程度线抵达修复区域边境的角度不行够完备的保管下来 。

2000年,Coloma Ballester和Marcelo Bertalmio等人先容了一种新的静态图像修复算法。用户挑选要恢复的区域之后,算法会主动运用它们四周的新闻填充这些区域。与此前的算法比较,这个算法的主动化程度更高,容许同时填充包罗完备差别构造和四周配景的许众区域。另外,对要修复的区域的拓扑没有限制。这一作品取得了相当大的成功。

神经收集图像范畴取得了打破性的希望后,也渐渐被用于图像修复。2017年,Ying Tai, Jian Yang, Xiaoming Liu, Chunyan Xu提出了一个深度继续记忆收集(deep persistent memory network,MemNet),该收集引入了一个包罗递归单位(recursive unit)和门控单位(gate unit)的内存块,以通过自顺应进修进程明晰地开掘继续记忆。递归单位进修目今形态差别承受域(receptive field)下的众层外征(multi-level representation)。这些外征和之前内存块的输出被兼并并发送至门控单位,门控单位自顺应掌握应保管众少先前形态,并决议应储存众少目今形态。他们运用 MemNet 施行三种图像恢复义务:图像去噪(image denosing)、超区分率(super-resolution)和 JPEG 解锁(JPEG deblocking)。实行标明运用 MemNet 的须要性,且它三种义务上的外现都很精良,高出当时业内最佳程度。同年,谷歌发布了一种把低区分率图像恢复为高区分率图像的方法。与最先辈的方法比较,这篇论文提出了一种端到端的框架来完毕超区分率义务。它由两个卷积神经收集构成,一个是描画低区分率图像骨架的优先收集(prior network),一个是用于优化细节特征的调治收集(conditioning network)。这种方法夸张了细节特征恢复上的晋升,并以概率范式(probabilistic paradigm)的方式晋升了其表面。

2018年Guilin Liu,Bryan Catanzaro等人提出运用部分卷积收集,此中卷积被掩蔽并从头归一化为仅以有用像素为条件。他们还计划了一种机制,可主动为下一层生成更新的 mask 举措前向转达的一部分。关于不规矩 mask,他们的模子优于其它方法,并通过与其它方法举行定性、定量比照对他们的方法举行了验证。同年,Jaakko Lehtinen,Timo Aila等人将基本统计推理运用于板滞进修的信号重构——进修将损坏的察看结果映照到洁净的信号上——由此取得一个简单而有力的结论:某些常睹的状况下,可以不察看分明信号的条件下学会恢复信号,抵达接近或等于运用分明样本举行教练的功用。他们展现了该技能图像噪声去除、合成蒙特卡罗图像降噪以及从欠采样输入重修核磁共振扫描中的运用,而所有这些都是基于仅察看损坏的数据。

主要事情

年份事情相关论文/Reference
1993Nitzberg等人提出了一种以图像支解为目标去除遮挡的技能Nitzberg, M.; Mumford, D.; Shiota, T. (1993). Filtering, Segmentation, and Depth, Springer-Verlag.
1995Kokaram等人运用运动估量和自回归模子来对相邻帧的影戏中的缺损举行插值Kokaram, A. C.; Morris, R. D.; Fitzgerald, W. J.; Rayner, P. J. W. (1995). Interpolation of missing data in image sequences. IEEE Transactions on Image Processing. 11(4): 1509-1519.
1996Hirani和Totsuka联合了频率和空间新闻,以便用选定的纹理填充给定区域Hirani, A.; Totsuka, T, (1996). Combining Frequency and spatial domain information for fast interactive image noise removal. Computer Graphics, pp. 269-276.
1998Masnou和Morel对Nitzberg等人的算法举行了扩展,他们提出了一个一般变分公式Masnou, S.; Morel, J. M. (1998). Level-lines based disocclusion. 5th IEEE Int’l Conf. on Image Processing.
2000Coloma Ballester和Marcelo Bertalmio等人先容了一种新的静态图像修复算法Bertalmio, M. et al. (2000). Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques. pp417-424.
2017Ying Tai, Jian Yang, Xiaoming Liu, Chunyan Xu提出了一个深度继续记忆收集(deep persistent memory network,MemNet)Tai, Y.; Yang, J.; Liu, X.; Xu, C. (2017). MemNet: A Persistent Memory Network for Image Restoration. ICCV.
2017谷歌发布了一种把低区分率图像恢复为高区分率图像的方法Dahl, R.; Norouzi, M.; Shlens, J. (2017). Pixel Recursive Super Resolution. arXiv:1702.00783v2.
2018Guilin Liu,Bryan Catanzaro等人提出运用部分卷积收集,此中卷积被掩蔽并从头归一化为仅以有用像素为条件Liu, G. et al. (2018). Image Inpainting for Irregular Holes Using Partial Convolutions. arXiv:1804.07723v1
2018Jaakko Lehtinen,Timo Aila等人将基本统计推理运用于板滞进修的信号重构Lehtinen, J. et al. (2018). Noise2Noise: Learning Image Restoration without Clean Data. arXiv:1803.04189v3.

开展剖析

瓶颈

不运用深度进修技能的图像修复方法,一般来说都运用图像盈余部分的统计新闻来补偿空白,但这种方法受限于可用的图像统计新闻,且不具备视觉语义学的看法。而运用深度进修技能的方法采用卷积滤波器,用固定值交换缺失的实质。结果,这些方法依赖于初始空白的值,初始空白的值一般外现为空白区域缺乏纹理和分明的颜色比照或空白四周的人工边沿呼应。另外一个范围性便是目前保管的大大都算法只体恤固定样式的缺失,如矩形,而且其往往位于图像中心。

未来开展偏向

深度进修技能是目前图像修复的趋势,运用神经收集来抵达更高区分率、可以应对种种不规矩的缺失和任何部位的缺失的算法将是接下来开展的偏向。

Contributor: Yuanyuan Li

相关人物
Guilin Liu
Guilin Liu
英伟达运用深度进修研讨小组研讨科学家,研讨兴味包罗几何和盘算机图形学、运用深度进修、盘算机视觉等。
Bryan Catanzaro
Bryan Catanzaro
Marcelo Bertalmio
Marcelo Bertalmio
Jaakko Lehtinen
Jaakko Lehtinen
简介
相关人物