[发明专利]一种基于音频生成视频的方法和装置

权利要求书

1.一种基于音频生成视频的方法，包括：

获取舞蹈视频和音频片段，其中，所述舞蹈视频包括所述舞蹈视频对应的音频和影像；

确定所述舞蹈视频对应的音频的音频点，利用所述影像，为所述舞蹈视频对应的音频中的每个音频点分别生成一个影像点，得到多个影像点，其中，相对应的音频点和影像点具有相同的间隔；

利用所述影像，为所述影像的每个影像点分别生成一个人体关键点集，得到多个人体关键点集，以及将所述影像的每个影像点分别生成一个影像片段，得到多个影像片段；

利用所述每个音频点作为标签，相对应的所述每个影像点的人体关键点集作为值，构建训练集，以及所述多个人体关键点集构建舞蹈动作库；

确定所述音频点的特征向量和所述影像片段的特征向量，将所述音频点的特征向量和所述影像片段的特征向量输入初始的特征提取器，得到训练后的特征提取器；

利用所述训练后的特征提取器，对所述音频片段进行特征提取，得到所述音频片段的特征点向量组；

利用所述训练后的特征提取器，对舞蹈动作库中的每个人体关键点集进行特征提取，得到人体关键点特征向量集；

利用所述特征点向量组中的每个特征点向量分别与所述人体关键点特征向量集中每个人体关键点特征向量相比较，得到与所述每个特征点向量对应的距离最小的人体关键点特征向量，作为人体关键点特征向量组；

确定所述人体关键点特征向量组中每个人体关键点特征向量所对应的影像片段，生成视频；

其中，所述确定所述人体关键点特征向量组中每个人体关键点特征向量所对应的影像片段，生成视频，包括：

确定所述人体关键点特征向量组中每个人体关键点特征向量，对应的所述舞蹈动作库中的人体关键点集所对应的影像片段；

确定影像片段不连续帧之前动作的局部周期和全局趋势特征，并预测当前帧的动作；

利用信号处理库Librosa提取音频节拍点和音频片段的MFCC特征点中的突变值，得到舞蹈节拍点；

利用三次拟合将舞蹈节拍点和音乐节拍点相对应，得到平滑的影像片段；

利用所述平滑的影像片段和所述音频片段，生成舞蹈视频。

2.根据权利要求1所述的方法，其中，所述舞蹈视频是通过固定摄像机角度拍摄的单人舞蹈视频。

3.根据权利要求2所述的方法，其中，所述利用所述每个音频点作为标签，相对应的所述每个影像点的人体关键点集作为值，构建训练集，以及所述多个人体关键点集构建舞蹈动作库，包括：

利用梅尔频率倒谱系数MFCC算法提取所述舞蹈视频对应的音频中的MFCC特征点，得到MFCC特征点集合；

利用人体姿态识别OpenPose算法提取所述影像中每一秒的人体关键点集；

将所述每个音频点作为标签，相对应的每个影像点生成的人体关键点集作为值，构建训练集；

利用多个人体关键点集并以秒为单位构建舞蹈动作库。

4.根据权利要求3所述的方法，其中，所述确定所述音频点的特征向量和所述影像片段的特征向量，将所述音频点的特征向量和所述影像片段的特征向量输入初始的特征提取器，得到训练后的特征提取器，包括：

构建初始特征提取器，其中，所述初始特征提取器包括音频编码器和动作编码器；

通过所述音频编码器对所述舞蹈视频对应的音频中的每个MFCC特征点提取特征向量，生成音频特征向量组；

通过所述动作编码器对所述影像片段提取特征向量，生成影像特征向量组；

得到所述音频特征向量组中的每个音频特征向量和所述影像特征向量组中的每个影像特征向量之间的欧氏距离值，利用每个音频特征向量和对应最小欧式距离值的影像特征向量作为相似度，生成相似度集；

利用所述相似度集作为损失函数输入到初始特征提取器开始训练，得到训练后的特征提取器；

利用所述训练后的特征提取器对所述舞蹈动作库中的每个影像片段进行编码，得到对应的影像片段特征向量组。