[发明专利]一种基于多模态采集的高帧率超分辨率的提升方法

说明书

本发明提供了一种基于多模态采集的高帧率超分辨率的提升方法，包括以下步骤：S1.采集数据；S2.获取帧数据；S3.获取事件数据；S4.滑动重建；S5.事件特征提取；S6.帧特征提取；S7.特征融合；S8.内容生成；S9.编码输出。本发明方法主要采用两种模态的图像采集设备的数据进行智能融合，将低帧率、低分辨率的视频提升成为高帧率、高分辨率的视频，解决了事件相机的数据重建问题以及两种模态数据特征的融合问题。

技术领域

本发明涉及人工智能领域，涉及一种基于多模态采集的高帧率超分辨率的提升方法。

背景技术

超分辨率重建是一种利用人工智能技术提升图像的视频质量的重要技术，该技术可以将低分辨率的图像和视频提升到较高的分辨率，此外还可以生成高帧率的视频。例如将2K@30FPS的视频提升到4K@60FPS的视频，提升了视频图像的分辨率和视频的帧率，画面质量得到明显的提升了。然而，目前的主要问题是：当前流行的大多数超分辨提升技术，大多针对单一的图像进行分辨率的提升，或者只基于单个模态进行超分辨提升，忽视了视频内容的时序性特征，无法有效的利用时空域的信息对分辨率和帧率进行提升。事件相机作为一种基于生物启发设计的传感器，对比帧相机，具有高时间分辨率(100MHZ)、宽动态(HDR80db)等优势，事件相机采集的是异步的独立的像素，当该像素的变化值超过某个阈值时，该像素会被激活，事件相机更适合采集光线复杂的运动场景的数据，此前有多种方法基于事件相机和帧相机超分辨率提升方法被成功应用，然而，他们的方法没有充分发挥事件相机优势。具体地，事件相机的输出数据是一种独立的异步的信号，事件数据包含：(x,y,p,t)四个值，其中(x,y)表示事件像素的坐标值，p表示事件数据的极值，为0和1，t表示事件生成的时间点，由于无法适用当前流行的网络，因此将异步独立的事件数据信号重建为类似图像的方法，许多方法采用将一个固定时间段的事件信息聚合成一个二维的图像矩阵来解决这一问题，然而这种方法无法发挥事件数据的时空优势。解决现存问题及缺陷的难度为：解决现存问题有较大的难度，如果传统相机要实现高帧率高分辨的采集图像信息，会产生大量的数据，同时也会消耗大量的能源，原有的电力供应和数据存储及传输方式已经无法满足，需要定制化的设计相机的电力供应和数据传输存储方式，技术难度高，成本巨大。解决以上问题及缺陷的意义为：通过本发明的方法对两种传感器的有效融合，可以解决高帧率高分辨率的图像采集难点，通过一种低成本低数据量的手段实现了高分辨率高帧率的数据采集需求，对于图像采集和超分辨率具有重要的意义。

发明内容

本发明提供了一种基于多模态采集的高帧率超分辨率的提升方法，主要采用两种模态的图像采集设备的数据进行智能融合，将低帧率、低分辨率的视频提升成为高帧率、高分辨率的视频，解决了事件相机的数据重建问题以及两种模态数据特征的融合问题。

本发明的技术方案如下：

本发明的基于多模态采集的高帧率超分辨率的提升方法，包括以下步骤：S1.采集数据：利用事件相机和传统相机在固定位置同时采集相应的数据；S2.获取帧数据：传统相机数据采用帧的形式输入到系统中；S3.获取事件数据：事件数据采用像素点的传输方式，将每个独立的事件像素点输入到系统中；S4.滑动重建：将步骤S3中获取的事件数据重建为二维的矩阵，使用滑动窗方法实现对事件数据的重建，并将重建后的数据输入到特征提取网络中；S5.事件特征提取：利用特征提取网络中的事件数据的特征提取网络对重建后的事件数据进行特征提取；S6.帧特征提取：利用特征提取网络中的帧数据的特征提取网络对帧数据进行特征提取；S7.特征融合：将步骤S5和步骤S6中分别提取的事件特征和帧特征，利用时间注意力模型进行特征的融合；S8.内容生成：将步骤S7中融合的特征进行视频帧超分重建；S9.编码输出：将步骤S8中生成的视频帧利用AVS3编码技术进行视频编码后进行输出；S9.编码输出：将步骤S8中生成的视频帧利用AVS3编码技术进行视频编码后进行输出。

优选地，在上述基于多模态采集的高帧率超分辨率的提升方法中，在步骤S1中，事件相机和传统相机应固定在同一水平线上，相互间隔不超过20cm，同时启动事件相机和传统相机进行数据采集。