[发明专利]一种基于卷积神经网络的事件场合成孔径成像方法

说明书

本发明提出了一种基于卷积神经网络的事件场合成孔径成像方法。首先构建多个视角下场景事件数据集和场景无遮挡图像数据集；然后将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角重聚焦到参考视角的事件数据集；再将多个视角下重聚焦到参考视角的事件数据集输入至卷积神经网络得到重构后无遮挡视觉图像，结合场景无遮挡图像、重构后无遮挡视觉图像构建损失函数，通过ADAM迭代优化器训练卷积神经网络；最后将待重构场景影像通过训练后卷积神经网络得到待重构场景影像对应的无遮挡的目标图像。本发明综合利用了事件相机和卷积神经网络的优势，实现了密集遮挡与极端光照条件下的高质量视觉图像重建。

技术领域

本发明属于图像处理领域，特别涉及一种基于卷积神经网络的事件场合成孔径成像方法。

背景技术

合成孔径成像(Synthetic aperture imaging,SAI)作为光场计算成像领域的重要分支，克服了单一视角拍摄时对遮挡目标无法有效成像的问题。通过将相机在多视角下拍摄的帧图像进行映射和合成，合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像，因此能够虚化远离对焦平面的遮挡物，实现对被遮挡目标的成像，在遮挡物去除、目标识别与跟踪以及场景三维重建等方面具有极高的应用价值。

当前的合成孔径成像方法大多基于帧格式的光学相机。当遮挡物过于密集时，普通光学相机捕获的帧图像中有效目标信息减少且遮挡物干扰增加，严重影响了成像结果的清晰度和对比度，并且常常引入模糊噪声。此外，由于普通光学相机的动态范围较低，传统合成孔径成像方法在过亮/过暗等极端光照条件中不可避免地会产生过曝光/欠曝光的问题，导致无法对目标有效成像。

而基于生物视觉感知机制的事件相机成为了解决以上难题的突破口。与传统光学相机不同，事件相机仅仅感知场景的对数域亮度变化，以异步的事件流取代了传统帧的表现形式，具有低延时、高动态范围、低带宽需求和低功耗等特性。与传统光学相机相比，事件相机能够以极低的延时响应场景亮度的瞬时变化。因此在密集遮挡的环境中，事件相机能够连续地对场景和目标进行感知，从而捕获充分的有效目标信息，提升成像质量。而事件相机自身高动态范围的特性也使得极端光照条件下的目标重建成为可能。

发明内容

基于上述分析，本发明的目的在于提供一种基于卷积神经网络的事件场合成孔径成像算法，该方法利用事件相机低延时、高动态范围等优势，实现了密集遮挡与极端光照条件下的合成孔径成像。并通过构建卷积神经网络学习事件数据与视觉图像之间的映射关系，从纯事件数据中重建出无遮挡、高质量的视觉图像，达到“透视”的效果。

本发明提供的基于事件相机的合成孔径算法包括以下具体步骤：

步骤1：构建多个视角下场景事件数据集、多个视角下场景无遮挡图像数据集；

步骤2：在多个视角下场景事件数据集中，将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面，得到多个视角下重聚焦到参考视角的事件数据集；

步骤3：引入卷积神经网络，将多个视角下重聚焦到参考视角的事件数据集作为训练集输入至卷积神经网络，进一步通过卷积神经网络预测重构得到重构后无遮挡视觉图像I_recon，结合场景无遮挡图像frame_r、重构后无遮挡视觉图像构建卷积损失函数，通过ADAM迭代优化训练得到训练后卷积神经网络；

步骤4：将待重构场景影像通过训练后卷积神经网络预测重构，得到待重构场景影像对应的无遮挡的目标图像。

作为优选，步骤1所述多个视角下场景事件数据集为：

event_s(i)，s∈[1，S]，i∈[1，C_s]