[发明专利]一种基于卷积神经网络的事件场合成孔径成像方法

权利要求书

1.一种基于卷积神经网络的事件场合成孔径成像方法，其特征在于：

步骤1：构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集；

步骤2：在多个视角下场景事件数据集中，将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集；

步骤3：引入卷积神经网络，将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络，进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像I_recon，结合场景无遮挡图像frame_r、重构后无遮挡视觉图像构建卷积损失函数，通过ADAM迭代优化训练得到训练后卷积神经网络；

步骤4：将待重构场景影像通过训练后卷积神经网络预测重构，得到待重构场景影像对应的无遮挡的目标图像；

步骤1所述多个视角下场景事件数据集为：

event_s(i)，s∈[1，S]，i∈[1，C_s]

其中，event_s为第s个视角下场景事件数据集，为第s个视角下场景的第i个事件点，其中为其极性，为其产生时刻的时间戳，与表示其生成位置为相机成像平面的第和第列；T为场景事件数据的捕获总时长；S为视角的数量；C_s为第s个视角下收集到的事件点总数；M为成像平面行的数量；N为成像平面列的数量；

步骤1所述多个视角下场景无遮挡图像数据集为：

frame_s(u_s，v_s)，s∈[1，S]，u_s∈[1，M]，v_s∈[1，N]

其中，frame_s为第s个视角下场景无遮挡图像，frame_s(u_s，v_s)为第s个视角下采集的场景无遮挡图像上第u_s行第v_s列的像素；S为视角的数量；M为成像平面行的数量；N为成像平面列的数量；

步骤2中所述在多个视角下场景事件数据集中，将第s个视角下场景的第i个事件点即逐个映射到参考视角r的成像平面上，具体如下：

其中，为由视角s下第i个事件点映射到参考视角r后的像素位置，K为相机的内参矩阵，为相机视角s相对于参考视角r的旋转矩阵，为相机视角s相对于参考视角r的平移矩阵，d为合成孔径焦距，即受遮挡目标到相机平面的距离；

第s个视角下场景的重聚焦后事件点数据表示为：

第s个视角下场景的重聚焦后事件数据集表示为：

多个视角下重聚焦到参考视角r的事件数据集表示为：

步骤3所述卷积损失函数的定义为：

其中，为感知损失(perceptualloss)，β_per为感知损失的权重，为L1范数损失，β_L1为L1范数损失的权重，为总方差损失，β_tv为总方差损失的权重；

且权重向量为[β_per，β_L1，β_tv]＝[1，32，2×10^-4]

步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集，然后输入训练好的神经网络后即可得到相应的视觉图像。