[发明专利]视频处理方法、装置及存储介质

说明书

本申请提供一种视频处理方法、装置及存储介质，该方法通过获取第一视频，进而，根据第一视频的帧率和总帧数，以及第二视频的帧率，确定第一视频中每相邻两帧之间需要插帧的数量，从而，根据该数量，对第一视频进行插帧，获得第三视频，然后对第三视频中第一视频的视频帧和插出来的视频帧，分别进行非插帧超分和插帧超分，获得第二视频。其中，本申请实施例将插帧、插帧超分和非插帧超分三部分分离，每个部分可以自由设计提升效果，更加灵活，并且上述插帧可以实现任意目标帧率的提升，上述非插帧超分和插帧超分可以实现任意目标分辨率的提升，进一步提高了时空超分的灵活性，获得了较佳的时空超分结果，提升了视频的清晰度和流畅度。

技术领域

本申请涉及视频处理技术，尤其涉及一种视频处理方法、装置及存储介质。

背景技术

随着视频技术以及互联网技术的发展，用户在个人计算机、手机、平板等电子设备上观看视频已经成为一种普遍的现象，各类视频的数量正在飞速增长。

用户对视频的需求越来越多样化，针对一些视频，需要进行修改后再播放。例如，为了提高视频的清晰度和流畅度，用户将低分辨低帧率的源视频，通过时空超分得到高分辨率高帧率的目标视频后播放。

然而，现有的时空超分方法有很多限制，例如只能实现固定倍数的插帧和固定倍数的超分，插帧和超分灵活性较低，获得的时空超分结果较差。

发明内容

为解决现有技术中存在的问题，本申请提供一种视频处理方法、装置及存储介质。

第一方面，本申请实施例提供一种视频处理方法，包括：

获取第一视频；

根据所述第一视频的帧率和总帧数，以及第二视频的帧率，确定所述第一视频中每相邻两帧之间需要插帧的数量，其中，所述第一视频的帧率小于所述第二视频的帧率；

根据所述每相邻两帧之间需要插帧的数量，对所述第一视频进行插帧，获得第三视频；

若所述第三视频的分辨率小于所述第二视频的分辨率，则对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频。

在一种可能的实现方式中，所述对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频，包括：

基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，并基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，获得所述第二视频，其中，所述视频帧Ai为所述第一视频中任意一个视频帧，所述视频帧Bi_j为所述第三视频中除所述第一视频的视频帧外剩余的视频帧中任意一个视频帧，i＝1,2,……,n，n根据所述第一视频中的视频帧的数量确定，j＝1,2,……,ki，ki根据所述第三视频中除所述第一视频的视频帧外剩余的视频帧的数量确定。

在一种可能的实现方式中，所述基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，包括：

将所述视频帧Ai，以及所述第一视频中与所述视频帧Ai最相邻和次相邻的多个视频帧，输入预设非插帧超分模型，进行非插帧超分，所述预设非插帧超分模型用于基于所述第二视频的分辨率对所述第三视频中所述第一视频的视频帧进行超分。

在一种可能的实现方式中，所述基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，包括：