[发明专利]一种合成视频的方法和装置

权利要求书

1.一种合成视频的方法，其特征在于，包括：

接收原语音，获取与所述原语音匹配的待处理视频，截取所述原语音获取与待处理视频中的原图像帧对应的语音段，确定所述语音段对应的目标嘴形关键点坐标；

截除所述语音段对应的原图像帧中嘴部区域形成截除区域；

基于所述语音段对应的目标嘴形关键点坐标，在所述语音段对应的原图像帧的截除区域中通过绘制目标嘴型关键点绘制嘴形轮廓；

根据所述语音段对应的包含嘴形轮廓的原图像帧，生成所述语音段对应的目标图像帧；

根据每个所述语音段对应的目标图像帧和原语音合成目标视频。

2.根据权利要求1所述的方法，其特征在于，获取与所述原语音匹配的待处理视频，包括：

接收视频库，在所述视频库中提取与原语音时间长度匹配的视频片段；

截取所述原语音获取与视频片段中的图像帧对应的语音段，抽取所述语音段对应的所述视频片段中图像帧的嘴形关键点向量；

确定每个所述语音段对应的嘴形关键点向量；

分别计算所述语音段对应的视频片段中的图像帧的嘴形关键点向量与所述语音段对应的嘴形关键点向量的相似度，确定提取的视频片段与所述原语音的相似值；

获取所述视频库中与所述原语音相似值最高的视频片段作为与所述原语音匹配的待处理视频。

3.根据权利要求2所述的方法，其特征在于，分别计算所述语音段对应的视频片段中的图像帧的嘴形关键点向量与所述语音段对应的嘴形关键点向量的相似度，包括：

通过主成分分析法确定所述语音段对应的视频片段中的图像帧的嘴形关键点向量的主成分以及所述语音段对应的嘴形关键点向量的主成分；

计算所述语音段对应的视频片段中的图像帧的嘴形关键点向量的主成分以及所述语音段对应的嘴形关键点向量的主成分的相似度。

4.根据权利要求1所述的方法，其特征在于，截取所述原语音获取与待处理视频中的原图像帧对应的语音段，确定所述语音段对应的目标嘴形关键点坐标，包括：

以滑动窗口的方式截取与待处理视频中至少两个原图像帧对应的语音长段，所述语音长段包括至少两个语音段；

将每个所述语音长段通过倒谱向量表示的方式分别转化为语音长段向量；

将所述语音长段向量输入至深度神经网络中，获取所述深度神经网络输出的所述语音长段对应的至少两个原嘴形关键点坐标；

根据每个所述语音长段对应的至少两个原嘴形关键点坐标，确定所述语音段对应的目标嘴形关键点坐标。

5.根据权利要求4所述的方法，其特征在于，以滑动窗口的方式截取与待处理视频中至少两个原图像帧对应的语音长段，包括：

以滑动窗口的方式每隔单个语音段的时间截取所述原语音获取与待处理视频中至少两个原图像帧对应的语音长段；

根据每个所述语音长段对应的至少两个原嘴形关键点坐标，确定所述语音段对应的目标嘴形关键点坐标，包括：

计算各所述语音长段中相同的语音段对应的原嘴形关键点坐标的平均值，将所述原嘴形关键点坐标的平均值作为所述语音段对应的目标嘴形关键点坐标。

6.根据权利要求1所述的方法，其特征在于，截除所述语音段对应的原图像帧中嘴部区域形成截除区域，包括：

抽取所述语音段对应的原图像帧中的嘴形关键点以及脸形关键点；

根据所述原图像帧中的嘴形关键点以及脸形关键点，确定所述图像帧中脸部区域以及嘴部区域；

截除所述原图像帧中位于脸部区域内的嘴部区域形成截除区域。

7.根据权利要求1所述的方法，其特征在于，基于所述语音段对应的目标嘴形关键点坐标，在所述语音段对应的原图像帧的截除区域中通过绘制目标嘴型关键点绘制嘴形轮廓，包括：

根据所述语音段对应的嘴形关键点坐标确定在所述截除区域中的嘴形关键点；

连接所述原图像帧的截除区域中的嘴形关键点形成嘴形轮廓。