[发明专利]基于事件及视频融合的去遮挡成像方法及装置在审
| 申请号： | 202210295577.4 | 申请日： | 2022-03-23 |
| 公开（公告）号： | CN114881921A | 公开（公告）日： | 2022-08-09 |
| 发明（设计）人： | 高跃;李思奇;闫循石 | 申请（专利权）人： | 清华大学 |
| 主分类号： | G06T7/00 | 分类号： | G06T7/00;G06T5/50;G06N3/04;G06N3/08 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 黄德海 |
| 地址： | 10008*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 事件 视频 融合 遮挡 成像 方法 装置 | ||
1.一种基于事件及视频融合的去遮挡成像方法，其特征在于，包括以下步骤：
在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；
基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；
将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及
将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。
2.根据权利要求1所述的方法，其特征在于，在将所述事件流数据输入至所述预设的脉冲神经网络进行前向传播之前，还包括：
使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。
3.根据权利要求1所述的方法，其特征在于，所述去遮挡成像网络使用U-Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一至第三图像的位于时刻的计算公式为：
其中，T为完整事件流ε的持续时间长度。
5.一种基于事件及视频融合的去遮挡成像装置，其特征在于，包括：
第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；
分流模块，用于基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；
第二获取模块，用于将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及
成像模块，用于将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。
6.根据权利要求5所述的装置，其特征在于，还包括：构建模块，用于使用SpikeResponse模型作为神经元动力学模型，构建所述脉冲神经网络。
7.根据权利要求5所述的装置，其特征在于，所述去遮挡成像网络使用U-Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述第一至第三图像的位于时刻的计算公式为：
其中，T为完整事件流ε的持续时间长度。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于事件及视频融合的去遮挡成像方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于事件及视频融合的去遮挡成像方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202210295577.4/1.html，转载请声明来源钻瓜专利网。
