[发明专利]一种基于轻量生成对抗网络的快速事件图像填补方法及系统

说明书

本发明公开了一种基于轻量生成对抗网络的快速事件图像填补方法及系统，其中基于轻量生成对抗网络的快速事件图像填补方法包括：构建轻量生成对抗网络；获取训练数据，所述训练数据包括多对相匹配的损失事件图像和未损失事件图像；利用所述训练数据优化所述轻量生成对抗网络得到最优的网络参数；获取待填补的损失事件图像，输入至基于最优网络参数的轻量生成对抗网络中，得到轻量生成对抗网络输出的填补事件图像。本发明的基于轻量生成对抗网络的快速事件图像填补方法及系统，充分利用事件图像的稀疏特性，提高图像填补结构的真实性和结构的精细度。

技术领域

本申请属于图像处理技术领域，具体涉及一种基于轻量生成对抗网络的快速事件图像填补方法及系统。

背景技术

事件相机(Event-based Camera，或简称为Event Camera，缩写为EB。有时也称作DVS(Dynamic Vision Sensor，动态视觉传感器))是一款新型传感器。不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。

目前，事件相机能够生成稀疏事件流并捕获高速运动信息，然而，随着时间分辨率的提高，空间分辨率会急剧降低。尽管生成对抗网络在传统图像修复上取得了显著效果，但是直接将其用于事件填补会埋没事件相机的快速响应特性，并且事件流的稀疏性也未被充分利用。

发明内容

本申请的目的在于提供一种基于轻量生成对抗网络的快速事件图像填补方法及系统，充分利用事件图像的稀疏特性，提高图像填补结构的真实性和结构的精细度。

为实现上述目的，本申请所采取的技术方案为：

一种基于轻量生成对抗网络的快速事件图像填补方法，所述基于轻量生成对抗网络的快速事件图像填补方法，包括：

构建轻量生成对抗网络；

获取训练数据，所述训练数据包括多对相匹配的损失事件图像和未损失事件图像；

利用所述训练数据优化所述轻量生成对抗网络得到最优的网络参数；

获取待填补的损失事件图像，输入至基于最优网络参数的轻量生成对抗网络中，得到轻量生成对抗网络输出的填补事件图像；

其中，所述轻量生成对抗网络包括生成器和判别器，所述生成器包括编码器、解码器、以及连接在编码器和解码器之间的两个残差块，所述编码器包括三个3D卷积，所述编码器对图像进行两次下采样，所述解码器包括三个3D转置卷积，所述解码器对图像进行两次上采样；所述判别器包括事件帧判别器和事件序列判别器，所述事件帧判别器为PatchGAN结构，且事件帧判别器中的卷积为2D卷积，所述事件序列判别器为PatchGAN结构，且事件序列判别器中的卷积为3D卷积。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述残差块中的卷积采用扩张因子为2的扩张卷积。

作为优选，所述利用所述训练数据优化所述轻量生成对抗网络得到最优的网络参数，包括：

基于训练数据取P对相匹配的损失事件图像和未损失事件图像；

将P张损失事件图像作为一个损失事件图像序列输入所述生成器中，得到所述生成器输出的填补事件图像序列，所述填补事件图像序列中的每一填补事件图像与作为输入的损失事件图像序列中的每一损失事件图像相对应；

将P张未损失事件图像作为一个未损失事件图像序列，根据所述未损失事件图像序列和填补事件图像序列，先基于判别器的总损失函数进行判别器的反向传播，再基于生成器的总损失函数进行生成器的反向传播；