[发明专利]一种成像方法、装置、设备及存储介质

说明书

本申请提供一种成像方法、装置、设备及存储介质，通过获取同一时间同一场景下分别由可见光传感器采集的可见光信息、红外传感器采集的红外辐射信息和事件传感器采集的事件流；并确定可见光传感器和红外传感器之间的第一内外参数信息以及可见光传感器和事件传感器之间的第二内外参数信息；进而根据第一内外参数信息和第二内外参数信息对可见光信息、红外辐射信息和事件流中任意两者或三者进行融合生成目标图像信息的方式，实现了可见光信息、红外辐射信息和事件流中任意两者或三者的融合以适用于多种特殊场景，解决了现有图像采集设备在特殊场景所采集的图像质量得不到保证，甚至无法使用的问题。

技术领域

本发明涉及图像采集技术领域，具体涉及一种成像方法、装置、设备及存储介质。

背景技术

如今，对场景进行图像或视频采集已经应用到人们的生活、工作、科学研究等各个方面，然而由于采集环境的多变性，目前已有的图像采集设备还不具有广泛适用性，一个图像采集设备往往只能在某种特定场景中发挥优良的性能，而在其他特殊场景(常见的特殊场景比如夜间场景、大雾等光线不足场景、高速运动场景等等)中所采集的图像质量却得不到保证，甚至无法使用。

比如，监控设备在夜晚没有灯光照射的地方，是无法使用可见光相机进行工作的，然而红外相机在这种情况下却可以采集到红外辐射信息。又如，高速公路上的违规拍照设备无法清晰的拍出高速行驶以至超速的汽车车牌号，往往还需要后期的图像处理算法进行辨识，无疑加大了人力物力的投入，而事件相机输出频率可以高达1MHz，远远优于传统帧相机100～1000fps的帧率。因此，被检测到的事件的时间戳分辨率可达微秒级。利用这种特性，事件相机可以捕捉高速运动，而不会受到传统帧相机运动模糊的影响。但是红外相机和事件相机由于成像原理的特殊性，都不能提供直观的可见光信息。

发明内容

有鉴于此，本发明实施例提供一种成像方法、装置、设备及存储介质，以解决现有图像采集设备在特殊场景所采集的图像质量得不到保证，甚至无法使用的问题。

一种成像方法，包括：

获取同一时间同一场景下分别由可见光传感器采集的可见光信息、红外传感器采集的红外辐射信息和事件传感器采集的事件流；

分别对所述可见光信息、红外辐射信息和事件流进行特征提取得到所述可见光信息的可见光特征信息、所述红外辐射信息的红外辐射特征信息和所述事件流的事件流特征信息；

对所述可见光特征信息和所述红外辐射特征信息进行特征匹配，采用标定板进行标定得到所述可见光传感器和所述红外传感器之间的第一内外参数信息；

对所述可见光特征信息和所述事件流特征信息进行特征匹配，采用标定板进行标定得到所述可见光传感器和所述事件传感器之间的第二内外参数信息；

根据所述第一内外参数信息和所述第二内外参数信息对所述可见光信息、红外辐射信息和所述事件流中任意两者或三者进行融合生成目标图像信息。

优选的，所述标定板采用金属基板，并使用隔热油漆印制棋盘格，所述标定板上所有棋盘格角点被镂空，每个所述镂空的空洞中安装高频脉冲红外光源。

优选的，所述分别对所述可见光信息、红外辐射信息和事件流进行特征提取得到所述可见光信息的可见光特征信息、所述红外辐射信息的红外辐射特征信息和所述事件流的事件流特征信息，包括：

利用第一特征提取算法分别对所述可见光信息和红外辐射信息进行特征提取得到所述可见光信息的可见光特征信息和所述红外辐射信息的红外辐射特征信息，所述第一特征提取算法为Harris算子、SIFT算子或者SURF算子；

基于第二特征提取算法对所述事件流进行特征提取得到所述事件流的事件流特征信息，所述第二特征提取算法为基于深度神经网络的特征提取算法。