[发明专利]一种基于监督深度网络学习的图像重定向方法

说明书

本发明涉及一种基于监督深度网络学习的图像重定向方法，包括：选择并确定原始输入图像，然后执行重定向操作，再为重定向后的图像评估分数，求分数集中各组最高评分对应的图像，形成最后的新数据集，并对其进行训练集和测试集的划分；构建基于U‑Net的生成对抗网络模型；设计损失函数，用以衡量生成的重定向图像和ground truth集中对应图像之间的差异；分批次地使用新创建数据对构建的网络模型进行训练，并通过误差反向传播算法对模型进行不断的优化；使用训练过程中保存的模型，对新创建的测试集中的图像进行测试。

技术领域

本发明涉及到的技术领域包括计算机视觉、计算机图像处理和深度学习等，其中本发明更侧重于基于监督深度网络学习的图像重定向研究。

背景技术

图像重定向旨在调整图像的大小使其能够最佳地适应目标显示设备。在过去的十年中，重定向问题得到了广泛的研究，许多内容感知方法也被提出。然而这些方法只能使用低级语义特征，并在图像空间中执行重定向操作。因此，这些图像重定向方法通常会导致结构失真和人工伪影。

最近，一些基于深度学习的方法在图像重定向方面表现出了更高的性能，因为它们可以捕获并利用图像中的高级语义特征。但是，由于缺乏用于在特征空间中精确训练深度模型的图像重定向数据集，所以目前并没有将监督技术应用于图像重定向的研究工作。此外，由于目前的深度学习方法严重依赖于计算得出的重要性图，所以一旦重要性图的计算失败，通常导致重定向结果的质量差，这极大地限制了这些方法的通用性。而且它们与传统方法类似，大多都是在图像空间执行的重定向，几乎无法避免在结果图像中出现过度的扭曲。尽管Shocher等人[1]提出了一种完全无监督的针对单张图像的生成对抗网络(generative adversarial network，GAN)，但它与我们的工作有着本质的区别。它只是将原始图像中的一部分作为ground truth，且只考虑了单个图像的内部纹理，因此没有通用性，也没有考虑自然图像中的语义信息。

此外，特定的单一重定向方法可能无法对所有图像都表现良好。Rubinstein等人[2]和Song等人[3]是直接从原有重定向方法的排列顺序着手，期望求得不同方法的最佳组合，然后在图像空间中执行重定向操作。但是，用于重定向的不同方法的执行单元并不完全相同，因此不太可能将执行单元不同的重定向方法结合在一起，这导致它的结果也始终无法实现在更广泛的图像上表现较好。

参考文献

[1]Shocher A，Bagon S，Isola P，et al.InGAN：Capturing and Remapping the″DNA″of a Natural Image[J].2018.

[2]Michael Rubinstein，Ariel Shamir，Shai Avidan.Multi-operator mediaretargeting[C].Acm Siggraph.ACM，2009.

[3]Song Y，Tang F，Dong W，et al.Photo Squarization by Deep Multi-Operator Retargeting[C].ACM Multimedia Conference.ACM，2018.

[4]Liang Y，Liu Y J，Gutierrez D.Objective Quality Prediction of ImageRetargeting Algorithms[J].IEEE Transactions on VisualizationComputerGraphics，2016，23(2)：1099-1110.

发明内容