[发明专利]一种视频优化方法、装置、终端设备及存储介质

权利要求书

1.一种视频优化方法，其特征在于，所述方法包括：

利用已训练的特征提取网络分别提取待优化的视频帧序列中的M帧锚点帧的中间特征，所述视频帧序列包括N帧视频帧，M帧所述锚点帧包括所述视频帧序列的第1帧视频帧和第N帧视频帧，M为大于2且小于N的正整数；

利用已训练的光流网络分别确定N-M帧中间帧的正向光流参数和反向光流参数，所述中间帧的正向光流参数用于描述所述中间帧的前一帧向所述中间帧变换的变换关系，所述中间帧的反向光流参数用于描述所述中间帧的后一帧向所述中间帧变换的变换关系，所述中间帧为所述待优化视频中除所述锚点帧以外的视频帧；

根据N-M帧所述中间帧的正向光流参数和反向光流参数，以及M帧所述锚点帧的中间特征，确定N-M帧所述中间帧的中间特征；

利用已训练的特征估计网络分别对所述视频帧序列的每一帧视频帧的中间特征进行特征估计，得到N帧优化图像，所述N帧优化图像构成所述视频帧序列的优化视频。

2.根据权利要求1所述的方法，其特征在于，所述根据N-M帧所述中间帧的正向光流参数和反向光流参数，以及M帧所述锚点帧的中间特征，确定N-M帧所述中间帧的中间特征，包括：

针对所述视频帧序列中的第i帧视频帧，i取值为{1，2，……，N-1，N}，当所述第i帧视频帧为所述中间帧时：

利用所述第i帧视频帧的正向光流参数对第i-1帧视频帧的中间特征进行形状变换，得到所述第i帧视频帧的正向特征；

利用所述第i帧视频帧的反向光流参数对第i+1帧视频帧的反向特征进行形状变换，得到所述第i帧视频帧的反向特征；

对所述第i帧视频帧的正向特征和所述第i帧视频帧的反向特征进行特征融合，得到所述第i帧视频帧的中间特征；

其中，若所述第i+1帧视频帧为所述锚点帧，所述第i+1帧视频帧的反向特征取值为所述第i+1帧视频帧的中间特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述第i帧视频帧的正向特征和所述第i帧视频帧的反向特征进行特征融合，得到所述第i帧视频帧的中间特征，包括：

将第i-1帧视频帧、所述第i帧视频帧、所述第i+1帧视频帧、所述第i帧视频帧的正向特征、所述第i帧视频帧的反向特征、所述第i-1帧视频帧的正向特征和所述第i+1帧视频帧的反向特征输入到已训练的FFM模型中进行融合处理，得到所述第i帧视频帧的中间特征，其中，若所述第i-1帧视频帧为所述锚点帧，所述第i-1帧视频帧的正向特征取值为所述第i-1帧视频帧的中间特征。

4.根据权利要求3所述的方法，其特征在于，所述融合处理包括：

获取所述第i-1帧视频帧、所述第i帧视频帧和所述第i+1帧视频帧的融合特征；

对所述融合特征、所述第i帧视频帧的正向特征和所述第i帧视频帧的反向特征进行权重估计，得到权重矩阵；

利用所述权重矩阵对所述第i帧视频帧的正向特征和所述第i帧视频帧的反向特征进行加权，得到加权特征；

对所述加权特征、所述融合特征、所述第i-1帧视频帧的正向特征和所述第i+1帧视频帧的反向特征进行卷积计算，得到补充特征；

将所述补充特征和所述加权特征进行叠加，得到所述第i帧视频帧的中间特征。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

构建视频优化初始模型，所述视频优化初始模型包括特征提取初始网络、光流初始网络、特征估计初始网络和FFM初始模型；

利用预设的损失函数和训练集对所述视频优化初始模型进行无监督训练，得到已训练的所述特征提取网络、所述光流网络、所述特征估计网络和所述FFM模型；

其中，训练集包括多个待优化的视频帧序列样本。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述特征提取网络和所述特征估计网络由预设的图像优化模型拆分得到，所述图像优化模型用于对二维图像进行图像优化。