[发明专利]基于动态频域分解的音乐驱动的指挥动作生成方法

说明书

本发明公开了基于动态频域分解的音乐驱动的指挥动作生成方法，首先通过音乐节奏估计算法动态地计算局部的音乐节奏，从而确定对指挥动作进行高通分解和低通分解的频率阈值，以将动作序列分解为2个动作分量，即高频动作分量和低频动作分量；通过两个卷积神经网络模型分别对高低频动作分量进行独立学习之后，将两个模型的输出合成为最终的指挥动作。该方法通过动态地计算指挥动作高低频分量的频率阈值来分解原动作序列，提高了模型对动作的拟合效果，对音乐风格的多样性和指挥动作的多样性具有很好的鲁棒性，可以生成自然、美观、多样、且与音乐同步的指挥动作。

技术领域

本发明基于动态频域分解的音乐驱动的指挥动作生成方法涉及指挥动作生成方法，特别是涉及动态频域分解技术的指挥动作生成，属于计算机技术领域。

背景技术

自中世纪欧洲教堂唱诗班到二十一世纪的现代音乐，指挥技术与艺术不断发展，已经成为一门内容丰富的学科。指挥的肢体语言复杂多变，需要在乐团演奏时实时地传达节拍、力度、情感、演奏法等多种信息，且同时保持一定的风格与美感。近年来,随着深度学习算法理论的发展与计算性能的飞速提升，人工智能领域的学者已经成功地对多种人类艺术进行建模与学习。深度学习已经能生成包括诗歌艺术、绘画艺术、音乐艺术、舞蹈艺术在内的多种人类艺术形式。然而，学界对于指挥艺术的建模研究还比较初步，且主要面向判别类的任务，例如节拍跟踪、拍式识别、演奏法识别、情感识别等。

在众多动作生成的方法中，对训练集中动作的学习尤为关键。与现有方法所面向的舞蹈动作与乐器演奏动作不同，指挥动作同时包含节拍、演奏法、力度以及音乐情感等信息。指挥动作序列可以看作由高频分量与低频分量叠加而成的一种稳定信号，其中高频分量包含了幅值较小但频率较高的节拍、力度等信息，低频分量包含了幅值较大但频率较低的情感以及身体朝向等成分。由于高低频动作分量之间幅值相差较大，模型对低频动作的学习将会占主导地位，这将导致高频动作的学习效果欠佳。

为了同时达到对不同频率的动作的高效学习，目前常用的是动作分解的方法，现有的动作分解方法主要包括时域分解与空间域分解，这些方法的核心动机是人体动作序列是高度复杂的，进行动作分解可以将单个困难问题转化为多个较简单的问题，从而更有效地学习。如图2所示，时域分解与空间域分解可以是将原始动作序列沿时间轴或空间轴的方向切成多个子序列。然而，这些子序列分解之后便互相独立，子序列之间的关系也随着动作分解而丢失。其后果表现为基于时间分解的方法生成的动作协调但不连贯，而基于空间域分解的方法则连贯但不协调。为了解决这一矛盾，本发明提出动作的动态频域分解，在同时保留时域与空间域的上下文信息的前提下，将复杂动作分解为两部分相互独立的较简单动作。此外，对于包含极高频噪声的高频分量还可以再次进行分解，得到噪音与去噪后的高频分量。将原始动作序列分解为高频、低频与噪音分量。

发明内容

本发明所要解决的技术问题是：提供基于动态频域分解的音乐驱动的指挥动作生成方法，为音乐驱动的指挥动作生成问题提供了一种更加精确的解决方案。

本发明为解决上述技术问题采用以下技术方案：

基于动态频域分解的音乐驱动的指挥动作生成方法，包括如下步骤：

步骤1，分别将音频特征序列和指挥动作序列切分为若干个时间片段；

步骤2，对于每一个时间片段的样本对，使用音乐节奏估计算法计算得到该片段的节奏值；

步骤3，根据步骤2中获得的节奏值计算得到对应时间片段的频率阈值；

步骤4，根据各时间片段的频率阈值以及设定的噪音阈值设计滤波器，将指挥动作序列分解为3个动作分量；

步骤5，通过两个以均方根误差MSE作为损失函数的卷积神经网络模型，分别对高低频动作分量进行独立学习；

步骤6，将两个模型的输出合成为最终的指挥动作。

作为本发明的一种优选方案，所述步骤1的具体过程为：