[发明专利]生成运动视频配乐的方法和装置

权利要求书

1.一种生成运动视频配乐的方法，用于服务端，所述方法包括：

获取运动视频对应的动作节奏节点序列，其中，所述动作节奏节点序列为对所述运动视频中运动主体的身体关键点信息进行动作节奏识别所得到的时间节点序列；

在音频集合对应的一个或多个音频节奏节点序列中，搜索与所述动作节奏节点序列相匹配的至少一个音频节奏节点序列，其中，所述音频集合中包括一个或多个音频单元；

在表征音频单元与音频节奏节点序列之间的对应关系的索引中，查找所述至少一个音频节奏节点序列所对应的音频单元，作为所述运动视频的配乐音频单元；

所述音频节奏节点序列的生成步骤包括：

获取所述音频集合中的音频单元，识别所述音频单元中，节奏变化达到变化阈值的时间节点，作为节奏变化节点，其中，所述变化阈值包括振幅阈值和/或频率阈值，所述节奏变化节点包括振幅变化节点和/或频率变化节点；

所述识别所述音频单元中，节奏变化达到变化阈值的时间节点，作为节奏变化节点，包括：

确定所述音频单元中，振幅变化值达到振幅变化阈值的时间节点，作为振幅变化节点；和/或确定所述音频单元中，频率变化值达到频率变化阈值的时间节点，作为频率变化节点；

所述在音频集合对应的一个或多个音频节奏节点序列中，搜索与所述动作节奏节点序列相匹配的至少一个音频节奏节点序列，包括：

确定所述音频集合对应的一个或多个音频节奏节点序列分别与所述动作节奏节点序列的相似度，作为节点相似度，包括：确定所述音频节奏节点序列中指示振幅变化的时间节点序列与所述动作节奏节点序列的相似度，作为振幅节点相似度；确定所述音频节奏节点序列中指示频率变化的时间节点序列与所述动作节奏节点序列的相似度，作为频率节点相似度；确定所述振幅节点相似度和所述频率节点相似度的加权平均值；根据所述加权平均值，确定所述音频节奏节点序列与所述动作节奏节点序列之间的节点相似度。

2.根据权利要求1所述的方法，其中，所述音频节奏节点序列为指示节奏变化的时间节点序列，所述节奏变化包括振幅变化和/或频率变化；所述音频节奏节点序列的生成步骤还包括：

将各个节奏变化节点按照先后顺序进行组合，将该组合结果作为所述音频单元的音频节奏节点序列。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

对所述音频集合中的音频单元和所述音频节奏节点序列建立索引，得到表征所述音频单元和所述音频节奏节点序列之间的对应关系的索引。

4.根据权利要求1所述的方法，其中，响应于所述节奏变化节点包括所述振幅变化节点和所述频率变化节点，所述音频节奏节点序列为所述振幅变化节点和所述频率变化节点的并集。

5.根据权利要求1或2所述的方法，其中，所述在音频集合对应的一个或多个音频节奏节点序列中，搜索与所述动作节奏节点序列相匹配的至少一个音频节奏节点序列，还包括：

按照音频节奏节点序列对应的节点相似度由大到小的顺序，在音频集合对应的一个或多个音频节奏节点序列中，搜索与所述动作节奏节点序列相匹配的至少一个音频节奏节点序列。

6.根据权利要求1所述的方法，其中，所述身体关键点信息的生成步骤包括：

利用深度神经网络模型对所述运动视频的视频帧进行图像分割，得到运动主体所在区域；

对所述运动主体所在区域进行关键点检测，并对检测到的关键点进行线段连接，将线段连接的结果作为所述身体关键点信息，其中，线段连接得到的线段指示关键点之间的身体部位。

7.根据权利要求6所述的方法，所述运动主体所在区域包括关节子区域和躯干子区域；

对所述运动视频中运动主体的身体关键点信息进行动作节奏识别以得到时间节点序列的步骤，包括：

对于所述运动视频的视频帧，将该视频帧中所述关节子区域和所述躯干子区域进行姿态检测，响应于检测到所述关节子区域和/或所述躯干子区域发生了明显姿态变化，将该视频帧的时间节点作为关键时间节点；

将所述运动视频中各个视频帧的关键时间节点按照先后顺序进行组合，将该组合结果作为所述时间节点序列。