[发明专利]一种视频帧插帧模型的处理方法、装置以及处理设备

说明书

本申请提供了一种视频帧插帧模型的处理方法、装置以及处理设备，用于对视频帧插帧模型的训练提供一种新的训练架构，如此训练得到的视频帧插帧模型可以更为精确地实现对待插帧视频的视频帧插帧，显著降低突兀感，可以获得更佳的滑流畅的视频播放体验。方法包括：获取样本集合，包括不同的样本视频，还包括不同的样本音频，不同的样本视频根据图像内容标注有对应的第一界标；提取不同的样本音频的MFCC；将MFCC送入BLSTM进行编码，以结合第一界标预测第二界标；提取界标差异特征；以不同的样本视频中的相邻奇数视频帧为基础，结合对应的视频特征以及对应的界标差异特征，训练神经网络模型预测相邻奇数视频帧之间的中间帧，得到视频帧插帧模型。

技术领域

本申请涉及视频领域，具体涉及一种视频帧插帧模型的处理方法、装置以及处理设备。

背景技术

随着技术的发展，电视、平板或者手机等播放设备都能够支持更高帧率的视频，但受限于网络传输、拍摄丢帧或者后期编辑等技术原因，线上视频帧率与实际视频帧率差距较大，用户在观看视频时若处于实际视频帧率较低的情况，用户观感上会容易出现卡顿感，而为抵消实际视频帧率的卡顿感，在技术上，则裸使用视频插帧技术来提升视频的帧率，从而给用户带来丝滑流畅的视频播放体验。

所谓视频插帧技术，又可称为帧速率转换技术，是通过在原始视频的相邻帧中增加一帧或多帧，缩短帧与帧之间的显示时长跨度，从而提升视频的流畅度，达到更好的视觉感官效果。

而在现有技术的研究过程中，本申请发明人发现，现有的视频插帧技术存在插帧效果不稳定的情况，虽然帧率提高了，但是画面内容上却存在着异常，给用户带来突兀感，显然插帧精度并不是很好。

发明内容

本申请提供了一种视频帧插帧模型的处理方法、装置以及处理设备，用于对视频帧插帧模型的训练提供一种新颖的训练架构，如此训练得到的视频帧插帧模型可以更为精确地实现对待插帧视频的视频帧插帧，显著降低突兀感，可以获得更佳的滑流畅的视频播放体验。

第一方面，本申请提供了一种视频帧插帧模型的处理方法，方法包括：

获取样本集合，其中，样本集合包括不同的样本视频，样本集合还包括不同的样本音频，不同的样本视频与不同的样本音频一一对应，不同的样本视频根据图像内容标注有对应的第一界标；

提取不同的样本音频的音频特征频谱包络MFCC；

将音频特征频谱包络MFCC送入双向长短时记忆网络BLSTM进行编码，以结合第一界标预测第二界标；

提取第一界标与第二界标之间的差异，得到界标差异特征；

以不同的样本视频中的相邻奇数视频帧为基础，结合对应的视频特征以及对应的界标差异特征，训练神经网络模型预测相邻奇数视频帧之间的中间帧，完成模型训练后得到视频帧插帧模型，其中，视频帧插帧模型用于在输入的待插帧视频的基础上结合对应音频来预测待插帧视频中的中间帧，以实现预设帧数的视频插帧效果。

第二方面，本申请提供了一种视频帧插帧模型的处理装置，装置包括：

获取单元，用于获取样本集合，其中，样本集合包括不同的样本视频，样本集合还包括不同的样本音频，不同的样本视频与不同的样本音频一一对应，不同的样本视频根据图像内容标注有对应的第一界标；

提取单元，用于提取不同的样本音频的音频特征频谱包络MFCC；

预测单元，用于将音频特征频谱包络MFCC送入双向长短时记忆网络BLSTM进行编码，以结合第一界标预测第二界标；

提取单元，还用于提取第一界标与第二界标之间的差异，得到界标差异特征；