[发明专利]一种基于全局信息和局部信息的像素增强设计方法

说明书

本发明公开了一种基于全局信息和局部信息的像素增强设计方法，包括以下步骤：A.由原尺寸图压缩和裁剪得到一张压缩图和若干裁剪图；B.将压缩图经过分类网络计算得到全局信息特征向量；将裁剪图经过特征提取网络计算得到三维特征张量；C.得到新的三维特征张量T2；D.将T2经过图像增强网络计算，得到裁剪增强图；E.重复BCD操作计算得到所有裁剪图的裁剪增强图，拼接裁剪增强图得到整张原尺寸增强图。本发明利用图像增强神经网络处理局部信息和全局信息的方式，通过全局网络处理尺寸压缩后的全图得到全图信息，通过局部网络处理原图裁剪后的裁剪图得到局部特征信息，融合全图信息和局部特征信息再经过图像增强网络计算出增强后的图像，处理效率高。

技术领域

本发明属于图像增强的神经网络结构技术领域，尤其是涉及一种基于全局信息和局部信息的像素增强的设计方法。

背景技术

目前图像增强相关神经网络，如风格迁移网络、超分辨率网络和低曝光图片亮度增强网络，都是针对一整张输入图片处理，因为显卡显存对模型复杂度的限制，一次输入网络中的图片的尺寸也受到了限制，我们无法无限地提升模型的感受视野(神经网络模型看到的图片范围)，而图像增强等图像增强任务在真实场景中都是处理两千万像素以上的照片，为了能处理和训练这些高像素照片，一般经过尺寸压缩或者裁剪两种方法，尺寸压缩的方法能保证经过网络的图片包含全图的信息(全图压缩)，但是经过尺寸压缩的图片丢失了原尺寸的细节纹理，这样经过压缩的图片的数据分布与原尺寸是不一样的，训练出来的网路也无法准确预测真实尺寸的图片；相反，经过裁剪的输入图片虽然保留了原来的纹理细节和原尺寸的数据分布，但在网络一次输入迭代中却无法获取全图的信息。

对于超分辨率网络而言，这个全局和局部信息的矛盾并不严重，全局信息对与图片某一块的超分辨率并不重要，像素的细节填补一般只需要临近的信息即可，换句话说大多时候局部图片的超分辨率变化并不会因为全局信息的改变而改变，它的局部超分辨率信息是客观存在的，从统计学上说超分辨率的数据分布具有一致性。但是对于类似修片的图像增强任务而言，全局信息是不可或缺的，因为人类对图片信息的处理是主观的和不一致的(谷歌HDRNETDeep Bilateral Learning for Real-Time Image Enhancement等引述的论文均有提及)，即使是同一种局部图片的处理(调色、调亮度等)，修片师也会根据当前图片的全局信息而有所不同，这样就造成了同一种图片在局部上的多样变化(色温、颜色、亮度、饱和度变化)甚至是相反变化，本文的目的就是通过在处理局部裁剪图片时候引入全局信息，来区分出局部不一致的变化，并通过神经网络拟合出这种不一致的变化。

谷歌HDRNETDeep Bilateral Learning for Real-Time Image Enhancement和CVPR2019腾讯优图论文Underexposed Photo Enhancement using Deep Illu-minationEstimation也采用了全局和局部信息的概念，但与本发明不一样的是，两篇论文的全局信息和局部信息的特征抽取来源仍然是一整张输入原图，即全局信息是通过对输入图下采样获取的，而局部信息则在保留原图尺寸不变下作特征转换，这样仍然依赖于输入图的尺寸大小和信息量，输入图如果受模型复杂限制而必须经过压缩或者裁剪的话，模型就无法获取真正完整的全图信息。

而ICCV 2019SinGAN:Learning a Generative Model from a Single NaturalImage论文中则通过每次迭代中对输入图放缩不同的尺寸，使得图像生成器能够生成不同尺寸的图片并且保留全局结构和细节纹理。但这种办法仍受原始输入图的信息限制，无法处理千万像素级别尺寸图片。

发明内容

为了克服现有技术的不足，本发明提供一种基于全局信息和局部信息的像素增强设计方法，其提供了处理图片全局信息和局部信息的神经网络结构，实现修片复杂风格的深度学习，复杂风格一般表现在局部变化的不一致，比如修片时，同一张图片里面的背景和人像在颜色、亮度上会有不同的变化,或者是不同图片的不同的亮度、颜色变化。