[发明专利]基于轻量化光学成像系统的多场景适用的成像装置和方法

说明书

本发明公开了一种基于轻量化光学成像系统的多场景适用的成像方法和装置，对参考图像进行场景分类，以确定每张参考图像的场景类型，对每类场景类型包含的参考图像于显示器显示；利用轻量化光学系统拍摄显示器上的参考图像，对得到的模糊图像经过退化、去噪、渐晕矫正以及分通道色差矫正后，形成的模糊图像与对应的参考图像配准形成样本对；针对每类场景类型，利用场景类型对应的样本对优化生成式对抗网络参数，以参数优化的生成器作为恢复模型；应用时，对轻量化光学系统采集的实际场景图像进行场景分类后，利用实际场景图像所属场景类型对应的恢复模型进行质量恢复，以得到质量恢复图像。以能解决轻量化光学系统易出现高模糊、高轴外色差的问题。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于轻量化光学成像系统的多场景适用的成像装置和方法。

背景技术

视觉是人们认识和改变世界的最直观途径，现在技术的发展极大地拓展了它的能力范围。人们对高质量成像的追求使得与之相关的技术发展迅猛。一般而言，通常从两个方面来提高成像质量：优化光学系统，提升后续图像处理算法的能力。前者经过数十年的发展已经非常成熟，但往往需要付出提升系统复杂度的代价来换取高成像质量，这对于现在常用的便携设备是非常致命的。例如在手机摄像模组中，由于光学系统的复杂，使得模组体积过大，占据了手机的大片空间，并且突出于后表面，极大地影响了它的美观和便携性。

随着现代光学技术的发展，衍射光学元件(DOE)的出现，使轻量化光学系统成为可能。DOE具有宽敞灵活的设计空间，好的离轴成像行为，轻薄平坦的外形，不论是单独使用DOE或混合使用折射衍射元件，都对紧凑光学系统非常有效。然而，DOE在宽光谱情况下，易出现严重的色差，影响观感；此外，极致轻量化光学系统的原始成像质量与成熟的多片数光学系统仍旧存在不小差距，使得设计背离高质量成像的初衷。好在，具有极强图像复原能力的神经网络的出现，有力地推动了轻量化光学系统投入实际应用。

近年来，深度学习成为一项热门领域，尤其是卷积神经网络(CNN)，发展极为迅速。其中，生成对抗网络(GAN)在生成高质量图像中表现突出，众多流行架构被提出并证实有效。GAN通常有两个模块构成，分别是生成器(Generator)和判别器(Discriminator)。生成器负责生成以假乱真的图片，判别器则试图区别生成器生成的图片与真实图片，两者在训练中相互博弈，最终使用生成器生成高质量的图片。最初的生成器是以随机值作为初始迭代条件的，这给产生稳定的生成结果带来了极大的挑战。

然而，不论是哪种网络架构，在监督学习的前提下，恢复效果都极大地依赖于数据集。一般的公开数据集中，包含的图像种类繁多，基本覆盖生活中常见的大部分情景。在这种数据集中训练出来的网络表现相对中庸，各种可能相互矛盾的特征交织在一起，网络难以自发的判断实际场景究竟属于那一类，导致恢复结果不符合预期。

在日常生活中，对于特定场景的摄影需求又是很大的，例如夜景、人像、花草等场景，他们的亮度、色彩分布差距很大，人们的取向偏好也在各有不同，想要通过一个网络，在这三种列举的情形都获得令人满意的结果，是极有难度的，势必会使网络的结构非常庞杂。

发明内容

鉴于上述，本发明的目的在于提供一种基于轻量化光学成像系统的多场景适用的成像装置和方法，以克服在特定场景图像中易出现伪影的缺陷，并能解决轻量化光学成像系统易出现高模糊、高轴外色差的问题。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，实施例提供了一种基于轻量化光学成像系统的多场景适用的成像方法，包括以下步骤：

对参考图像进行场景分类，以确定每张参考图像的场景类型，对每类场景类型包含的参考图像于显示器显示；

利用轻量化光学系统拍摄显示器上的参考图像，对得到的模糊图像经过去噪、渐晕矫正以及分通道色差矫正后，形成的模糊图像与对应的参考图像配准并构建样本对；