[发明专利]视频插帧方法及装置

权利要求书

1.一种视频插帧方法，其特征在于，该方法包括：

获取待处理的第一帧率视频帧序列；

对所述第一帧率视频帧序列中的各视频帧分别进行字幕区域识别，得到各视频帧的字幕区域；以及分别对第一帧率视频帧序列的各待插入视频帧进行运动估计，得到各待插入视频帧指向参考帧的第一运动矢量，所述参考帧为待插入视频帧的前一视频帧和/或后一视频帧；

将所述各待插入视频帧指向参考帧的第一运动矢量中，参考帧的字幕区域对应的运动矢量设置为0，得到所述各待插入视频帧指向参考帧的第二运动矢量；

利用所述各待插入视频帧指向参考帧的第二运动矢量预测各待插入视频帧，以得到第二帧率视频帧序列；

其中，所述第二帧率大于所述第一帧率。

2.根据权利要求1所述的方法，其特征在于，对所述第一帧率视频帧序列中的各视频帧分别进行字幕区域识别，得到各视频帧的字幕区域包括：

通过字幕区域识别模型获取所述第一帧率视频帧序列中的各视频帧的字幕区域，其中所述字幕区域识别模型为基于卷积神经网络的端到端模型；或者，

通过字幕区域识别模型获取所述第一帧率视频帧序列中的各视频帧的字幕区域作为初始字幕区域，将具有相同初始字幕区域的连续视频帧融合为一个视频帧，将融合得到的视频帧输入所述字幕区域识别模型，得到所述字幕区域识别模型输出的字幕区域作为所述连续视频帧的字幕区域。

3.根据权利要求2所述的方法，其特征在于，所述通过字幕区域识别模型获取所述第一帧率视频帧序列中的各视频帧的字幕区域作为初始字幕区域包括：

对所述第一帧率序列进行抽帧处理，通过字幕区域识别模型获取抽取的各视频帧的初始字幕区域；

确定抽取的视频帧中具有相同初始字幕区域的视频帧的第一帧和最后一帧；

从所述第一帧开始将之前的各帧输入字幕区域识别模型，直至利用字幕区域识别模型输出的字幕区域确定出该相同初始字幕区域的起始视频帧；以及从所述最后一帧开始将之后的各帧输入字幕区域识别模型，直至利用字幕区域识别模型输出的字幕区域确定出该相同初始字幕区域的结束视频帧；

确定从所述初始视频帧到所述结束视频帧的连续视频帧具有该相同初始字幕区域。

4.根据权利要求2所述的方法，其特征在于，所述字幕区域识别模型采用如下方式预先训练得到：

获取训练数据，所述训练数据包括多个包含字幕的视频帧样本以及对所述视频帧样本标注的字幕区域；

将所述视频帧样本作为基于卷积神经网络的端到端模型的输入，将对所述视频帧样本标注的字幕区域作为所述端到端模型的目标输出，训练所述端到端模型以作为字幕区域识别模型。

5.根据权利要求1所述的方法，其特征在于，利用所述各待插入视频帧指向参考帧的第二运动矢量预测各待插入视频帧包括：

依据所述第二运动矢量将参考帧向待插入视频帧进行映射得到第一映射视频帧，利用所述第一映射视频帧得到待插入视频帧；或者，

依据所述第二运动矢量将参考帧向待插入视频帧进行映射得到第一映射视频帧，对所述第一映射视频进行非字幕区域的优化得到第二映射视频帧，利用所述第二映射视频帧得到待插入视频帧。

6.根据权利要求5所述的方法，其特征在于，对所述第一映射视频进行非字幕区域的优化得到第二映射视频帧包括：

依据所述第二运动矢量将参考帧的字幕区域向待插入视频帧进行映射，得到字幕映射区域，确定所述字幕映射区域与所述参考帧的字幕区域的差异区域；

对所述第一映射视频帧中的所述差异区域进行背景填充，得到第二映射视频帧。

7.根据权利要求6所述的方法，其特征在于，对所述第一映射视频帧中的所述差异区域进行背景填充包括：

对所述差异区域中的各像素分别采样距离该像素最近的非字幕区域像素进行填充。