[发明专利]一种基于多模态采集的高帧率超分辨率的提升方法

权利要求书

1.一种基于多模态采集的高帧率超分辨率的提升方法，其特征在于，包括以下步骤：

S1.采集数据：利用事件相机和传统相机在固定位置同时采集相应的数据；

S2.获取帧数据：所述传统相机数据采用帧的形式输入到系统中；

S3.获取事件数据：事件数据采用像素点的传输方式，将每个独立的事件像素点输入到系统中；

S4.滑动重建：将步骤S3中获取的所述事件数据重建为二维的矩阵，使用滑动窗方法实现对所述事件数据的重建，并将重建后的数据输入到特征提取网络中；

S5.事件特征提取：利用所述特征提取网络中的事件数据的特征提取网络对重建后的事件数据进行特征提取；

S6.帧特征提取：利用所述特征提取网络中的帧数据的特征提取网络对帧数据进行特征提取；

S7.特征融合：将步骤S5和步骤S6中分别提取的事件特征和帧特征，利用时间注意力模型进行特征的融合；

S8.内容生成：将步骤S7中融合的特征进行视频帧超分重建；

S9.编码输出：将步骤S8中生成的视频帧利用AVS3编码技术进行视频编码后进行输出。

2.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法，其特征在于，在步骤S1中，所述事件相机和所述传统相机应固定在同一水平线上，相互间隔不超过20cm，同时启动所述事件相机和所述传统相机进行数据采集。

3.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法，其特征在于，在步骤S4中，利用所述滑动时间窗将该窗口囊括的所有事件像素进行二维重建，所述滑动时间窗可以兼顾事件数据的上下关联，事件像素分布在x、y、t组成的三维空间内，滑动窗口t1、t2、t3……tn，除了初始t1外，其他的窗口都是包含上一个窗口包含内容的一半信息。

4.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法，其特征在于，在步骤S5中，所述特征提取网络分为两个分支：事件数据的特征提取网络和帧数据的特征提取网络，所述事件数据的特征提取网络由6层卷积网络组成，其输入为重建后的事件数据；所述帧数据的特征提取网络由9层卷积网络组成，其输入为帧数据，输入重建的事件数据和帧数据应该对应，所述事件数据的时间的结束时间应对应帧数据的采集时间。

5.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法，其特征在于，在步骤S7中，将所述事件特征和所述帧特征按照权重比例进行融合，将所述事件特征和所述帧特征的权重分别设置为3:7，融合后的特征在所述时间注意力模型网络中进行注意力特征提取，所述时间注意力模型网络在GRU结构中包含着上一时刻帧的信息，通过上一帧的隐藏状态h_t,与当前帧的状态h_t+1来计算当前帧的注意力权重，并利用注意力权重优化优化融合后的特征，将优化后的特征输出进行下一个阶段的处理。

6.根据权利要求1所述的基于多模态采集的高帧率超分辨率的提升方法，其特征在于，在步骤S8中，包括两部分内容：超分重建和插帧重建，基于步骤S7中融合的特征，利用训练好的生成器来进行图像的重建，其中生成器来自于StyleGAN网络，并生成具有高分辨率的图像帧；在插帧重建部分，利用所述事件数据的光流特征，对相邻的图像帧进行加帧，通过利用flownet计算两个阶段的重建事件数据的光流特征，根据光流特征计算像素运动的偏移量，并根据像素运动的偏移量结合前后视频帧的来进行插帧，前后帧视频帧是经过超分重建的视频帧。