[发明专利]基于动态频域分解的音乐驱动的指挥动作生成方法

权利要求书

1.一种基于动态频域分解的音乐驱动的指挥动作生成方法，其特征在于，包括如下步骤：

步骤1，分别将音频特征序列和指挥动作序列切分为若干个时间片段；

步骤2，对于每一个时间片段的样本对，使用音乐节奏估计算法计算得到该片段的节奏值；

步骤3，根据步骤2中获得的节奏值计算得到对应时间片段的频率阈值；

步骤4，根据各时间片段的频率阈值以及设定的噪音阈值设计滤波器，将指挥动作序列分解为3个动作分量；

步骤5，通过两个以均方根误差MSE作为损失函数的卷积神经网络模型分别对高低频动作分量进行独立学习；

步骤6，将两个模型的输出合成为最终的指挥动作；

所述步骤4的具体过程为：

4-1、根据频率阈值计算低通滤波器归一化截止频率W_l，

其中，表示第k个时间片段的频率阈值，SR表示采样频率，采用25Hz的采样频率；

4-2、设计低通滤波器，为了提高滤波的效果，令滤波器阶数M为常数8，根据归一化截止频率W_n,l和阶数M可构造一个巴特沃斯低通滤波器，二维数组中每一列数据对应一个信号，将所有信号依次输入滤波器，输出的信号按列拼接后即为第k个时间片段指挥动作的低频分量

4-3、将所有时间片段上的低频动作分量进行拼接，方式如下：

其中，Y_l,i表示时长为T的指挥动作低频分量，表示第j个时间片段的指挥动作低频分量，j＝1～k；

4-4、根据频率阈值计算带通滤波器归一化截止频率[W_bl,W_bh]：

W_bh＝2*f_noise/SR

其中，f_noise表示本发明设定的大小为5Hz的噪音阈值；SR含义和步骤4-1中相同；

4-5、设计带通滤波器，为了提高滤波的效果，令滤波器阶数M为常数8，根据归一化截止频率[W_bl,W_bh]和阶数M可构造一个巴特沃斯带通滤波器，二维数组中每一列数据对应一个信号，将所有信号依次输入滤波器，输出的信号按列拼接后即为第k个时间片段指挥动作的高频分量

4-6、将所有时间片段上的高频动作分量进行拼接，方式如下：

其中，Y_h,i表示时长为T的指挥动作高频分量，表示第j个时间片段的指挥动作高频分量；

4-7、根据设定的噪音阈值计算高通滤波器归一化截止频率W_h：

W_h＝2*f_noise/SR

4-8、设计高通滤波器，为了提高滤波的效果，令滤波器阶数M为常数8，根据归一化截止频率W_h和阶数M可构造一个巴特沃斯高通滤波器，二维数组中每一列数据对应一个信号，将所有信号依次输入滤波器，输出的信号按列拼接后即为第k个时间片段指挥动作的噪音分量

4-9、将所有时间片段上的噪音动作分量进行拼接，方式如下：

其中，Y_noise,i表示时长为T的指挥动作噪音分量，表示第j个时间片段的指挥动作噪音分量。

2.根据权利要求1所述的基于动态频域分解的音乐驱动的指挥动作生成方法，其特征在于，所述步骤1的具体过程为：

1-1、给定N个样本的数据集其中表示时长为T的音频特征序列，表示时长为T的指挥动作序列样本，x_t和y_t分别为第t个时间步上的p维音频特征x_t∈R^p和q个关键点的2维骨架坐标y_t∈R^2q；

1-2、分别对音频特征序列X_i和指挥动作序列Y_i进行时域分解，即切分为k个时间片段表示第k个时间片段的音频特征序列，表示第k个时间片段的指挥动作序列。