[发明专利]一种基于帧间特征对齐的视频同步时空超分方法

说明书

本发明提供了一种基于同步时空超分的用于生成高帧率高分辨率视频的方法和系统。方法包括：将视频文件逐一抽帧形成视频帧序列；对每一对相邻帧进行特征提取以获得特征向量，并且通过帧间运动对齐网络获得帧间运动表示向量；利用RBPN来对所述相邻帧进行超分辨以得到所述相邻帧所对应的高分辨帧向量和低分辨帧向量；利用时空超分网络来生成插入帧所对应的高分辨帧向量和低分辨帧向量；将所述相邻帧和所述插入帧所对应的高分辨帧向量进行优化以得到所述相邻帧和所述插入帧所对应的目标高分辨向量并且通过升采样生成三个目标视频帧；以及将所生成的各目标视频帧重新编码为高帧率高分辨率的视频。

技术领域

本发明涉及人工智能及图像处理领域，更具体地，涉及基于帧间特征对齐的视频同步时空超分方法。

背景技术

视频插帧和视频超分是当前学界和工业届在视频增强邻域的热点，视频插帧技术可以将提升视频的帧率，让视频在观感上更加“丝滑”。视频插帧技术主要有以DVF为代表的传统线性插帧和以DAIN为代表的基于深度学习的插帧技术。视频超分技术可以提升视频的分辨率，通过视频超分技术，可以将540P视频提升为4K画质的视频。视频超分方法以深度学习算法为主，具有代表性的模型有VSR、RBPN、Zooming Slow-Mo等方法。视频插帧和视频超分合起来可以称作时空超分任务，很多研究已经注意到了时间超分和空间超分之间的关联关系，让时间超分和空间超分之间能够相互协助，从而实现更好的超分结果。

近年来支持2K乃至4K的电视逐渐普及，一些老旧的影视节目在这些高清显示设备上显示效果差，影响用户观看体验。现有的视频时空超分技术大多是基于相邻帧的光流图来进行对齐，依赖于光流计算的准确性，不准确的光流会导致大量伪影。同时现有的视频时空超分方法都是先进行视频插帧，再进行视频超分辨，相比独立地执行两个模型，只是在最终效果上有所提升，并没有提升整体计算性能。因此完成视频时空超分任务需要消耗大量计算资源。

中国专利申请“视频质量提升方法、装置、电子设备和存储介质”(CN111654723A)公开了一种视频质量提升方法、装置、电子设备和存储介质，涉及视频处理和深度学习领域。具体实现方案为：从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行上采样，还原图像得到插帧后的各帧目标图像；根据各帧目标图像，生成目标视频。然而，在该方法中，视频超分辩是基于单帧图片的超分辨，相比于基于相邻帧上下文的视频超分方法，效果较差。

中国专利申请“基于时间切片的视频时空超分辨率增强方法”(CN112070677A)公开了一种基于时间切片的视频时空超分辨率增强方法，包括：输入待增强的视频，将其转换成竖直时间切片；将竖直时间切片送入时间切片超分辨率模块，得到超分辨率之后的时间切片，再转换为视频A；所述切片超分辨率模块能够捕获竖直时间切片包含的时空相关性，从而得到与目标视频帧率一致的视频；将视频A送入特征变换模块，获得与目标视频空间分辨率一致的视频B；将视频B送入优化模块，来增强视频细节并消除伪影。该方法通过显式地对时间切片建模，更好地挖掘时空关联信息，捕获长时序的视频信息，实现视频帧率和视频空间分辨率的提升。

上述两个专利虽然在一个工作流中同时实现了时间超分和空间超分，但是两个工作是串行完成的，要先完成时间超分再完成空间超分。相比分别使用两个不同超分模型进行处理，并没有提升整体计算性能且需要消耗大量计算资源。因此，希望提供一种能够规避光流法对齐所产生的伪影问题的改进的视频时空超分方法，同时通过调整网络结构使时间超分和空间超分同步进行，从而降低计算资源消耗。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

根据本发明的一方面，提供了一种视频同步时空超分方法，所述方法包括：