[发明专利]一种人机交互的声音分离的方法

权利要求书

1.一种人机交互的声音分离的方法，其特征在于，包括以下步骤：

(1)初步分离声音，具体步骤如下：

(1-1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；

(1-2)根据步骤(1-1)的X，令V＝|X|²，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；

(1-3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：

(1-3-1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；

(1-3-2)按照如下迭代规则分别对W、H进行更新：

其中，W^T，H^T分别为W，H的转置，⊙为哈达玛积；

(1-3-3)重复步骤(1-3-2)，迭代1000次，迭代完毕后得到最终的非负矩阵W和非负矩阵H；其中，W的每一列分别为不同声音源的特征频谱H的每一行为对应声音源的激发矩阵；

(1-4)按照以下方式分别得到各个声音源音频：

(1-4-1)计算V_i＝W_iH_i，其中i＝1,2…d；W_i为第i个声音源对应的特征频谱，H_i为第i个声音源对应的激发矩阵，则V_i为第i个声音源的短时傅里叶变换能量谱；

(1-4-2)令得到每个声音源的短时傅里叶变换谱X_i；

(1-4-3)利用短时傅里叶变换逆变换，得到各个声音源音频x_i；

(1-5)对每个声音源，将x_i中数值小于0.01的部分记为不发声区间，其他区域记为发声区间，并将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；

(2)若用户不满意分离效果，进行分离调整；具体步骤如下：

(2-1)用户对声音源的发声区间和不发声区间进行修改，调整每种声音的特征频谱个数k，k的取值范围在1到min(M,N)；

(2-2)用户更新分离结果，具体步骤如下：

(2-2-1)定义一个与H_i大小相同的矩阵H_mask，H_mask中令标记后发声的区域对应数值为1，不发声的区域数值为0，同时在发声和不发声区域的交界处的若干列赋值为0.1且列的数量不超过连续同数值区域的横坐标长度的10％；将步骤(1)得到的H_i与H_mask相乘，得到更新后的H_i；

(2-2-2)将更新后的H_i按照原顺序组合成为新的H，将新得到的H和步骤(1)得到的W分别作为初始H和W，重复步骤(1-3-2)至(1-3-3)，得到新的非负矩阵W和非负矩阵H；

(2-3)重复步骤(1-4)至(1-5)，得到新的分离结果，分离结束。

2.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤：

(2-4)若用户不满意分离效果，则重新进行步骤(2)，直到得到满意的分离效果，分离结束。

3.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤：

(2-4)若用户不满意分离效果，则进入步骤(3)，直到得到满意的分离效果，分离结束；

(3)用户对步骤(2)得到的分离结果进行精细调整，删除声音源中还包含其他声音源的声音；具体步骤如下：

(3-1)用户选择需要精细分离的声音源；

(3-2)播放步骤(3-1)的声音源的音频，令用户选择其中包含其他声音源声音的时间段；

(3-3)系统给出两个声音选项，用户选择两个声音选项中包含其他声音源声音的选项；两个声音选项的获得步骤如下：

(3-3-1)将步骤(3-1)选择的声音源的X_i取出，复制并命名为B，设B纵坐标最小值为a，最大值为b，中间值为m；

(3-3-2)将B分成两个矩阵B1、B2，其中B1是将B矩阵的a到m部分全部设置为0，B2是将B矩阵的m到b部分全部设置为0；

(3-3-3)将B1和B2分别进行短时傅里叶变换逆变换，分别得到高频段声音和低频段声音，限制声音播放区间在选定时间段内，即为第一次声音选择时的两个声音选项；

(3-3-4)当用户选择包含其他声音源声音的选项后，令被选择的矩阵为新的B；若选择的是B1对应的声音，则更新a＝m,若选择的是B2对应的声音，则更新b＝m,

(3-4)重复(3-3-2)和(3-3-3),直到用户听到声音中只包含其他声音源声音，删除此段声音；

(3-5)记录删除段对应的横坐标范围和纵坐标范围，整个区域简记为p；

(3-6)重复(3-1)至(3-5)，直到没有其他声音源声音出现；

(3-7)系统对原音频x再次进行处理，定义d个大小为M×N的全0矩阵P₁,P₂…P_d，令对应声音源i的记录p中的区域在P_i的值为1；

(3-8)定义d个大小为M×N的全为t矩阵Λ₁,Λ₂…Λ_d；

(3-9)令HM1_i等于H_i中所有元素向右移一位，并令第一列元素全为0；令HP1_i等于H_i中所有元素向左移一位，并令最后一列元素全为0；令T₁为H_i的横坐标大小；

(3-10)计算

(3-11)令CP_i和CM_i中横坐标不在p范围内的数值置为0；

(3-12)利用步骤(2)得到的W、H、W_i和H_i作为初始化W、H、W_i和H_i；

(3-13)按照如下迭代规则分别对W_i和H_i进行更新，得到更新后的非负矩阵W_i和H_i：

其中，W_i^T，H_i^T分别为W_i，H_i的转置；

(3-14)重复步骤(1-4)至(1-5)，得到新的分离结果，分离结束。