[发明专利]视频插帧方法及装置

权利要求书

1.一种视频插帧方法，其特征在于，该方法包括：

获取待处理的第一帧率视频帧序列；

对所述第一帧率视频帧序列中的各视频帧分别进行字幕去除，得到去除字幕后的视频帧序列；以及对所述第一帧率视频帧序列中的各视频帧分别进行字幕抠取，得到各视频帧的字幕区域；

对所述去除字幕后的视频帧序列进行插帧处理；

将所述字幕区域对应增加至所述插帧处理后得到的视频帧序列中的各视频帧上，且使得相同字幕区域在不同视频帧中的空间位置一致，得到第二帧率视频帧序列；

其中，所述第二帧率大于所述第一帧率。

2.根据权利要求1所述的方法，其特征在于，对所述第一帧率视频帧序列中的各视频帧分别进行字幕去除包括：

将所述第一帧率视频帧序列中的各视频帧分别输入字幕修补模型，获取所述字幕修补模型输出的去除字幕后的各视频帧，其中所述字幕修补模型是基于卷积神经网络的端到端模型；或者，

分别对所述第一帧率视频帧序列中的各视频帧进行字幕区域识别，得到字幕区域和非字幕区域，利用非字幕区域的像素对所述字幕区域的像素进行插值处理，得到去除字幕后的各视频帧。

3.根据权利要求2所述的方法，其特征在于，所述字幕修补模型采用如下方式预先训练得到：

获取第一训练数据，所述第一训练数据包括多个帧对，各帧对包括不包含字幕的第一视频帧以及包含字幕的第二视频帧；

将所述第二视频帧作为基于卷积神经网络的端到端模型的输入，将所述第一视频帧作为所述端到端模型的目标输出，训练所述端到端模型以作为字幕修补模型。

4.根据权利要求1所述的方法，其特征在于，对所述第一帧率视频帧序列中的各视频帧分别进行字幕抠取得到各视频帧的字幕区域包括以下方式：

第一种方式：对比所述第一帧率视频帧序列中去除字幕前后的各视频帧，得到各视频帧的字幕区域；或者，

第二种方式：将所述第一帧率视频帧序列中的各视频帧分别输入字幕区域识别模型，获取所述字幕区域识别模型输出的各视频帧的字幕区域，其中所述字幕区域识别模型为基于卷积神经网络的端到端模型；或者，

第三种方式：对比所述第一帧率视频帧序列中去除字幕前后的各视频帧，得到各视频帧的初始字幕区域，对连续视频帧具有的相同初始字幕区域融合为一个字幕区域，得到该连续视频帧的字幕区域；或者，

第四种方式：将所述第一帧率视频帧序列中的各视频帧分别输入字幕区域识别模型，获取所述字幕区域识别模型输出的各视频帧的字幕区域作为初始字幕区域，将具有相同初始字幕区域的连续视频帧融合为一个视频帧，将融合得到的视频帧输入所述字幕区域识别模型，得到所述字幕区域识别模型输出的字幕区域作为所述连续视频帧的字幕区域。

5.根据权利要求4所述的方法，其特征在于，所述字幕区域识别模型采用如下方式预先训练得到：

获取第二训练数据，所述第二训练数据包括多个包含字幕的第三视频帧以及对所述第三视频帧标注的字幕区域；

将所述第三视频帧作为基于卷积神经网络的端到端模型的输入，将对所述第三视频帧标注的字幕区域作为所述端到端模型的目标输出，训练所述端到端模型以作为字幕区域识别模型。

6.根据权利要求4所述的方法，其特征在于，若采用所述第一种方式或第二种方式，则该方法还包括：记录抠取得到的字幕区域对应的视频帧；

将所述字幕区域对应增加至所述插帧处理后得到的视频帧序列中的各视频帧上包括：将字幕区域增加至所述插帧处理后得到的视频帧序列中该字幕区域对应的视频帧，在插入帧中增加与其前一视频帧相同的字幕区域。

7.根据权利要求4所述的方法，其特征在于，若采用所述第三种方式或第四种方式，则在得到所述连续视频帧的字幕区域之后，还包括：记录字幕区域在所述连续视频帧中对应的起始视频帧和结束视频帧；

将所述字幕区域对应增加至所述插帧处理后得到的视频帧序列中的各视频帧上包括：将各字幕区域分别增加至所述插帧处理后得到的视频帧序列中该字幕区域对应的起始视频帧至结束视频帧之间的各视频帧。