[发明专利]视频合成方法及装置

权利要求书

1.一种视频合成方法，其特征在于，所述方法包括：

获取用于合成目标视频的图像素材；

对所述图像素材进行初步的特征提取，得到所述图像素材的主特征；

对所述主特征进行至少两个维度的特征提取，得到所述图像素材的至少两个维度的维度特征；

对至少两个所述维度特征进行加权求和，得到所述图像素材的图像特征；

获取目标对象的画像特征以及至少两个音频素材的音频特征；

将所述图像特征和所述画像特征进行特征拼接，得到所述图像素材的综合特征；

分别将各所述音频素材的音频特征与所述图像素材的综合特征进行匹配，得到各所述音频素材与所述图像素材的匹配度；

基于各所述音频素材与所述图像素材的匹配度，从所述至少两个音频素材中筛选得到与所述图像素材相匹配的目标音频素材；

基于所述图像素材和所述目标音频素材进行视频合成，得到所述目标视频。

2.根据权利要求1所述的视频合成方法，其特征在于，所述获取用于合成目标视频的图像素材，包括：

获取用于合成目标视频的视频素材，从所述视频素材中抽取至少一帧视频帧，将所述至少一帧视频帧作为图像素材；

或者，响应于图像素材上传操作，获取到上传的至少一个图像，将所述至少一个图像作为用于合成目标视频的图像素材。

3.根据权利要求1所述的视频合成方法，其特征在于，所述基于各所述音频素材与所述图像素材的匹配度，从所述至少两个音频素材中筛选得到与所述图像素材相匹配的目标音频素材，包括：

基于各所述音频素材与所述图像素材的匹配度，确定各所述音频素材的推荐顺序；

基于所述推荐顺序，对所述至少两个音频素材进行推荐；

响应于对所述至少两个音频素材的选择操作，获取选择的目标音频素材。

4.根据权利要求1所述的视频合成方法，其特征在于，所述对所述图像素材进行初步的特征提取，得到所述图像素材的主特征，包括：

将所述图像素材输入至图像特征提取模型，所述图像特征提取模型包括主特征提取模型；

通过所述主特征提取模型，对所述图像素材进行初步的特征提取，得到所述图像素材的主特征；

所述获取至少两个音频素材的音频特征，包括：

利用音频特征提取模型，分别对输入的所述至少两个音频素材进行特征提取，得到所述至少两个音频素材的音频特征。

5.根据权利要求4所述的视频合成方法，其特征在于，所述图像特征提取模型还包括至少两个子特征提取模型，所述子特征提取模型与特征维度呈一一对应关系；

所述对所述主特征进行至少两个维度的特征提取，得到所述图像素材的至少两个维度的维度特征，包括：

通过各所述子特征提取模型，分别对所述主特征进行至少两个维度的特征提取，得到所述图像素材的至少两个维度特征。

6.根据权利要求4所述的视频合成方法，其特征在于，所述获取用于合成目标视频的图像素材之前，所述方法还包括：

通过图像特征提取模型，从至少两个特征维度，对输入的样本图像素材集中的各个样本图像素材进行特征提取，得到所述样本图像素材集对应的样本图像特征集；

通过音频特征提取模型，对输入的与所述样本图像素材集相匹配的样本音频素材集中的各个样本音频素材进行特征提取，得到所述样本音频素材集对应的样本音频特征集；

确定所述样本图像特征集与所述样本音频特征集之间的差异值；

基于所述差异值更新所述图像特征提取模型的模型参数以及所述音频特征提取模型的模型参数。