[发明专利]一种基于轻量生成对抗网络的快速事件图像填补方法及系统

权利要求书

1.一种基于轻量生成对抗网络的快速事件图像填补方法，其特征在于，所述基于轻量生成对抗网络的快速事件图像填补方法，包括：

构建轻量生成对抗网络；

获取训练数据，所述训练数据包括多对相匹配的损失事件图像和未损失事件图像；

利用所述训练数据优化所述轻量生成对抗网络得到最优的网络参数；

获取待填补的损失事件图像，输入至基于最优网络参数的轻量生成对抗网络中，得到轻量生成对抗网络输出的填补事件图像；

其中，所述轻量生成对抗网络包括生成器和判别器，所述生成器包括编码器、解码器、以及连接在编码器和解码器之间的两个残差块，所述编码器包括三个3D卷积，所述编码器对图像进行两次下采样，所述解码器包括三个3D转置卷积，所述解码器对图像进行两次上采样；所述判别器包括事件帧判别器和事件序列判别器，所述事件帧判别器为PatchGAN结构，且事件帧判别器中的卷积为2D卷积，所述事件序列判别器为PatchGAN结构，且事件序列判别器中的卷积为3D卷积。

2.如权利要求1所述的基于轻量生成对抗网络的快速事件图像填补方法，其特征在于，所述残差块中的卷积采用扩张因子为2的扩张卷积。

3.如权利要求1所述的基于轻量生成对抗网络的快速事件图像填补方法，其特征在于，所述利用所述训练数据优化所述轻量生成对抗网络得到最优的网络参数，包括：

基于训练数据取P对相匹配的损失事件图像和未损失事件图像；

将P张损失事件图像作为一个损失事件图像序列输入所述生成器中，得到所述生成器输出的填补事件图像序列，所述填补事件图像序列中的每一填补事件图像与作为输入的损失事件图像序列中的每一损失事件图像相对应；

将P张未损失事件图像作为一个未损失事件图像序列，根据所述未损失事件图像序列和填补事件图像序列，先基于判别器的总损失函数进行判别器的反向传播，再基于生成器的总损失函数进行生成器的反向传播；

重复训练直至得到所述轻量生成对抗网络最优的网络参数。

4.如权利要求3所述的基于轻量生成对抗网络的快速事件图像填补方法，其特征在于，所述判别器的总损失函数包括：

其中，L_D为判别器的总损失函数，为事件序列判别器的损失函数，为事件帧判别器的损失函数，为事件序列判别器的权重参数，为事件帧判别器的权重参数；

所述事件序列判别器的损失函数和事件帧判别器的损失函数如下：

其中，I_gt表示未损失事件图像序列，P_data(I_gt)表示未损失事件图像序列的分布，E[*]表示分布函数的期望值，log D_s(I_gt)表示事件序列判别器判别为未损失事件图像的概率，logD_f(I_gt)表示事件帧判别器判别为未损失事件图像的概率，I_in表示损失事件图像序列，P_data(I_in)表示损失事件图像序列的分布，log(1-D_s(G(I_in)))表示事件序列判别器判别为由生成器输出的填补事件图像的概率，log(1-D_f(G(I_in)))表示事件帧判别器判别为由生成器输出的填补事件图像的概率。