[发明专利]一种视频插帧方法、系统、电子设备及存储介质

说明书

本发明实施例提供一种视频插帧方法、系统、电子设备及存储介质，其先按照视频流顺序，提取每个图片帧的光流特征与姿态特征；提取的光流特征将判断前后两帧之间的逻辑，连接到最终的连结层；同时，提取的光流特征与姿态特征将进行双向信息融合，根据时序变化预测出合成信息流，此外，还会根据前后两帧的图片内容，融合得出相应的内容预测与特征预测；最后，上述模型接入最终连结层，得到输出的中间帧作为插帧图片帧；采用多个分类器和多个训练参数得到多模型，将图片输入不同模型进行计算、判别、预测，最后再融合到一起，形成最终的插帧图像，大幅改善视频插帧中出现问题帧的情况。

技术领域

本申请实施例涉及视频处理技术领域，特别涉及一种视频插帧方法、系统、电子设备及存储介质。

背景技术

视频的帧率(Frame rate)是指是以帧称为单位的位图图像连续出现在显示器上的频率，常见的视频帧率有24帧、30帧与60帧。其中，电影和早期的影视作品，由于受到设备的限制，往往帧数都比较低。游戏作品与动漫作品因为由计算机生成，帧率可以达到60帧甚至以上。高帧率的视频直接提升画面的流畅程度，给观众更接近真实的感受；帧率过低则会造成视频不流畅、有卡顿感。

视频插帧是有实际意义和商业价值的。影视领域有许多经典老片，其商业价值是不言而喻的。但受限于拍摄年限，其分辨率和帧率远远落后于现代设备拍摄的作品。这些从前的作品要想重新搬上荧幕，必要的视频修复和增强是必须的。插帧就是老视频修复中的一步。此外，插帧还可以用在动漫创作领域。当前画师在将关键的帧做完后，将关键帧复制2-3份，使其填满30帧，如图1中所示。然而用户的实际观感就会有卡顿的感觉。如果由机器对其补足，可以大大减少劳动力，并显著提升帧率。因此，在老片修复、动画补帧、视频超高清领域，如何能自动化地对原片进行插帧处理，来提升效果和释放劳动力，成为了视频处理领域的一个重要研究方向。

现有技术中的视频插帧技术主要包括电视插帧、家用机显卡插帧和光流法插帧三种，其中电视插帧技术较为成熟，其在家用电视机上比较常见，其优点是能够使插帧后的视频实时显示，但缺点也较为明显，仅限动态场景，在细节方面存在不足，仅增强显示效果，不修改片源，且不同电视机的显示效果也有差异；家用机显卡插帧技术，则由AMD显卡提供服务，可对片源本身进行修改，速度较电视插帧快，但是其插帧效果与电视插帧类似，也存在局限性；光流法插帧技术的插帧效果明显，任意两帧图片都可做插帧处理，但是其缺点是计算慢，无法处理遮挡镜头，显示时容易出现画面撕裂，以及果冻效应。

目前主流的插帧方法中，光流法插帧作为主要手段被广泛采用。NVidia推出的NGXSDK与新版Adobe Premiere Pro中都提供了基于光流法的插帧功能。后者被广泛应用到UGC(User Generated Content，用户原创内容)领域作为视频超高清手段，其将深度学习与传统光流法结合，在一定程度上弥补到了传统光流法的缺点，达到视频插帧的目的，具有泛用性，只需要给出前后两帧图片即可补出中间帧，从而在绝大部分场景都适用切有良好效果。然而，该光流算法也有其局限性，其在计算时仅考虑前后两帧信息，因此，在实际处理插帧任务时，若出现遮挡与不连贯镜头时，光流算法无法准确计算出前后两帧的相关性，导致像素点无法对齐，如图2(a)和图2(b)中所示，最终会导致插帧后视频显示时出现画面撕裂、频闪、鬼影等现象。

发明内容

本申请实施例的主要目的在于提出一种视频插帧方法、系统、电子设备及存储介质，解决了现有技术中若出现遮挡与不连贯镜头时，光流算法无法准确计算出前后两帧的相关性，导致像素点无法对齐，最终会导致插帧后视频显示时出现画面撕裂、频闪、鬼影等现象的问题。

第一方面，本发明实施例提供一种视频插帧方法，包括：

按顺序提取视频流中每个图片帧的姿态特征和光流特征；

将前后图片帧的所述光流特征判断前后图片帧之间的逻辑关系；

将前后图片帧的所述光流特征和所述姿态特征按照前向和后向两个方向进行信息融合，得到合成信息流；