[发明专利]舞蹈动画的生成方法、电子设备、存储介质和程序产品

权利要求书

1.一种舞蹈动画的生成方法，其特征在于，所述方法包括：

获取目标音频的音频特征；所述音频特征用于表征所述目标音频的节奏类型和风格类型；

获取对应于所述音频特征的多个初始动作特征；所述多个初始动作特征与所述音频特征之间的节奏类型和风格类型相同，且用于展示所述多个初始动作特征的图像帧的长度与用于展示所述音频特征的音频帧的长度相同；

根据所述音频特征和所述多个初始动作特征之间表达内容的相关性，融合所述音频特征和所述多个初始动作特征，得到对应的舞蹈动作序列；

根据所述舞蹈动作序列，生成针对于所述目标音频的舞蹈动画。

2.根据权利要求1所述的方法，其特征在于，所述根据所述音频特征和所述多个初始动作特征之间表达内容的相关性，融合所述音频特征和所述多个初始动作特征，得到对应的舞蹈动作序列，包括：

对所述音频特征和所述多个初始动作特征分别进行至少两次的卷积操作，以获取所述音频特征和所述多个初始动作特征各自对应的至少两个注意力区域；所述卷积操作包括分别对所述音频特征和所述多个初始动作特征进行局部特征增强，在每一所述注意力区域中包括对相应的所述音频特征或者所述多个初始动作特征进行局部特征增强的局部特征集合；

根据所述音频特征对应的各注意力区域内的局部特征集合和所述初始动作特征对应的各注意力区域内的局部特征集合之间的相似程度，确定所述音频特征和所述多个初始动作特征之间的模态距离；所述模态距离用于表征所述音频特征和所述多个初始动作特征之间表达内容的相关性；

根据所述模态距离融合所述音频特征和所述多个初始动作特征，得到所述舞蹈动作序列。

3.根据权利要求2所述的方法，其特征在于，所述对所述音频特征和所述多个初始动作特征分别进行至少两次的卷积操作，包括：

对所述音频特征和所述多个初始动作特征分别进行至少两次的拉远处理，得到拉远处理后的音频特征和初始动作特征；

对每一次拉远处理后的音频特征进行通道注意力增强处理和空间注意力增强处理，以及对每一次拉远处理后的初始动作特征进行通道注意力增强处理和空间注意力增强处理。

4.根据权利要求2所述的方法，其特征在于，所述获取所述音频特征和所述多个初始动作特征各自对应的至少两个注意力区域，包括：

分别从各次进行所述卷积操作后的所述音频特征中提取出进行所述局部特征增强的局部特征集合，以获取针对于所述音频特征的至少两个注意力区域；以及

分别从各次进行所述卷积操作后的所述多个初始动作特征中提取出进行所述局部特征增强的局部特征集合，以获取针对于所述多个初始动作特征的至少两个注意力区域；

其中，所述音频特征和所述多个初始动作特征各自对应不同的所述注意力区域的局部特征集合不相同。

5.根据权利要求2所述的方法，其特征在于，所述根据所述模态距离，融合所述音频特征和所述多个初始动作特征，得到所述舞蹈动作序列，包括：

将各次进行所述卷积操作后的音频特征进行特征融合，得到针对于所述目标音频的全局音频特征；以及

根据所述模态距离，对各所述注意力区域内的音频特征和初始动作特征进行关联处理，得到关联处理后的音频动作特征；

融合所述全局音频特征和所述关联处理后的音频动作特征，得到所述舞蹈动作序列。

6.根据权利要求5所述的方法，其特征在于，所述根据所述模态距离，对各所述注意力区域内的音频特征和初始动作特征进行关联处理，包括：

在各注意力区域内，对所述模态距离大于预设距离值的音频特征和对应的初始动作特征进行拉近处理和对齐处理；以及

在各注意力区域内，对所述模态距离小于或者等于所述预设距离值的音频特征和对应的初始动作特征进行掩盖处理。