[发明专利]一种视频帧插帧模型的处理方法、装置以及处理设备

权利要求书

1.一种视频帧插帧模型的处理方法，其特征在于，所述方法包括：

获取样本集合，其中，所述样本集合包括不同的样本视频，所述样本集合还包括不同的样本音频，所述不同的样本视频与所述不同的样本音频一一对应，所述不同的样本视频根据图像内容标注有对应的第一界标；

提取所述不同的样本音频的音频特征频谱包络MFCC；

将所述音频特征频谱包络MFCC送入双向长短时记忆网络BLSTM进行编码，以结合所述第一界标预测第二界标；

提取所述第一界标与所述第二界标之间的差异，得到界标差异特征；

以所述不同的样本视频中的相邻奇数视频帧为基础，结合对应的视频特征以及对应的所述界标差异特征，训练神经网络模型预测所述相邻奇数视频帧之间的中间帧，完成模型训练后得到视频帧插帧模型，其中，所述视频帧插帧模型用于在输入的待插帧视频的基础上结合对应音频来预测所述待插帧视频中的中间帧，以实现预设帧数的视频插帧效果。

2.根据权利要求1所述的方法，其特征在于，所述第一界标具体通过视频中的人脸图像特征进行配置。

3.根据权利要求1所述的方法，其特征在于，所述将所述音频特征频谱包络MFCC送入双向长短时记忆网络BLSTM，以结合所述第一界标预测第二界标，包括：

将所述音频特征频谱包络MFCC送入所述双向长短时记忆网络BLSTM，以提取包含上下文信息的音频特征；

将所述包含上下文信息的音频特征与所述第一界标进行拼接，得到音频界标拼接结果；

将所述音频界标拼接结果送入多层感知器MLP中，以预测所述第二界标，其中，所述第二界标以预测的中间帧及其两个相邻帧的三个界标为单位进行配置。

4.根据权利要求1所述的方法，其特征在于，所述提取所述第一界标与所述第二界标之间的差异，得到界标差异特征，包括：

通过卷积处理，提取所述第一界标以及所述第二界标的界标特征；

将所述第一界标的界标特征与所述第二界标的界标特征进行拼接，得到界标特征拼接结果；

对所述界标特征拼接结果使用反卷积以及Sigmoid激活函数进行处理，得到所述界标差异特征。

5.根据权利要求1所述的方法，其特征在于，所述视频帧插帧模型在训练过程中采用的损失函数包括图片损失函数，具体为：

其中，I_t为真实的中间帧图片，为预测的中间帧图片；

所述视频帧插帧模型在训练过程中采用的损失函数还包括界标损失函数，具体为：

其中，p_i,t为已知界标，为预测的界标，N为界标点的总数，N＝68，T为根据音频预测界标的总数，T＝3。

6.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程，包括：

将所述相邻奇数视频帧、所述相邻奇数视频帧对应的视频特征以及所述相邻奇数视频帧对应的所述界标差异特征按照通道进行拼接，并利用三个不同的子网络估计卷积核以及偏移量；

基于所述卷积核以及所述偏移量，对所述相邻奇数视频帧使用可变形卷积，其中，所述可变形卷积是指卷积核在每一个元素上额外增加一个参数方向参数；

使用另一个子网络，并使用Sigmoid激活函数得到权重；

根据所述权重，将两个预测的中间帧进行结合，得到最终预测的所述相邻奇数视频帧的中间帧，表示如下：

其中，I_t为最终预测的所述相邻奇数视频帧的中间帧，为根据所述相邻奇数视频帧中第一个视频帧预测得到的中间帧，/为根据所述相邻奇数视频帧中第二个视频帧预测得到的中间帧，V为所述权重。

7.根据权利要求1所述的方法，其特征在于，所述神经网络模型输入所述不同的样本视频中的相邻奇数视频帧的过程中，包括：

将所述相邻奇数视频帧按照通道拼接，得到视频帧拼接结果；

使用UNet结构的图片编码器对所述视频帧拼接结果进行编码。