[发明专利]一种基于音频生成视频的方法和装置

说明书

本公开的实施例公开了一种基于音频生成视频方法和装置。该方法的一具体实施方式包括：获取舞蹈视频和音乐片段；确定音频的音频点，得到多个影像点；利用影像得到多个人体关键点集和影像片段；利用每个音频点和影像点确定训练集和舞蹈动作库；确定音频点的特征向量和影像片段的特征向量，得到训练后的特征提取器；利用训练后的特征提取器，提取音乐片段特征；确定音乐片段特征和人体关键点特征距离，得到影像片段并合成视频。该实施方式实现了根据音乐生成更生动流畅的舞蹈的方法，提高了用户体验，为用户的生活提供了便利。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及一种基于音频生成视频的方法和装置。

背景技术

基于音频生成视频，是通过对视频进行分析，得到不同特征，然后，利用这些特征将音频生成视频。当前常用的方法是利用计算机对视频的特征进行分析提取，把得到的视频特征划为若干部分，利用其他音频特征和若干视频特征生成新的视频。此种方法仅可生成包含简单动作的视频，并且，生成的视频节奏不整齐，视频动作视觉效果差，不能满足用户需求。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了一种基于音频生成视频的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本公开的一些实施例提供了一种基于音频生成视频的方法，该方法包括：获取舞蹈视频和音频片段，其中，上述舞蹈视频包括上述舞蹈视频对应的音频和影像；确定上述音频的音频点，利用上述影像，为上述音频中的每个音频点分别生成一个影像点，得到多个影像点，其中，相对应的音频点和影像点具有相同的间隔；利用上述影像，为上述影像的每个影像点分别生成一个人体关键点集，得到多个人体关键点集，以及将上述影像的每个影像点分别生成一个影像片段，得到多个影像片段；利用上述每个音频点作为标签，相对应的上述每个影像点的人体关键点集作为值，构建训练集，以及上述多个人体关键点集构建舞蹈动作库；确定上述音频点的特征向量和上述影像片段的特征向量，将上述音频点的特征向量和上述影像片段的特征向量输入初始的特征提取器，得到训练后的特征提取器；利用上述训练后的特征提取器，对上述音频片段进行特征提取，得到上述音频片段的特征点向量组；利用上述训练后的特征提取器，对舞蹈动作库中的每个人体关键点集进行特征提取，得到人体关键点特征向量集；利用上述特征点向量组中的每个特征点向量分别与上述人体关键点特征向量集中每个人体关键点特征向量相比较，得到与上述每个特征点向量对应的距离最小的人体关键点特征向量，作为人体关键点特征向量组；确定上述人体关键点特征向量组中每个人体关键点特征向量所对应的影像片段，生成视频。