[发明专利]一种人机交互的声音分离的方法

摘要

本发明涉及一种人机交互的声音分离的方法，属于音频处理技术领域。该方法首先对待分离的音频进行初步分离，得到每个声音源的音频并划分为不发声区间和发声区间，将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；若用户不满意分离结果，则用户可对发声区间和不发声区间进行修改，直至得到满意的分离结果；用户还可以对分离结果进行精细调整，删除声音源中包含其他声音源的声音。本发令用户分离声音无需相应的音乐知识，使得普通用户能够轻松分离视频或音频中不同来源的声音。

主权项

1.一种人机交互的声音分离的方法，其特征在于，包括以下步骤：(1)初步分离声音，具体步骤如下：(1‑1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；(1‑2)根据步骤(1‑1)的X，令V＝|X|2，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；(1‑3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：(1‑3‑1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；(1‑3‑2)按照如下迭代规则分别对W、H进行更新：其中，WT，HT分别为W，H的转置，⊙为哈达玛积；(1‑3‑3)重复步骤(1‑3‑2)，迭代1000次，迭代完毕后得到最终的非负矩阵W和非负矩阵H；其中，W的每一列分别为不同声音源的特征频谱H的每一行为对应声音源的激发矩阵；(1‑4)按照以下方式分别得到各个声音源音频：(1‑4‑1)计算Vi＝WiHi，其中i＝1,2…d；Wi为第i个声音源对应的特征频谱，Hi为第i个声音源对应的激发矩阵，则Vi为第i个声音源的短时傅里叶变换能量谱；(1‑4‑2)令得到每个声音源的短时傅里叶变换谱(1‑4‑3)利用短时傅里叶变换逆变换，得到各个声音源音频xi；(1‑5)对每个声音源，将xi中数值小于0.01的部分记为不发声区间，其他区域记为发声区间，并将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；(2)若用户不满意分离效果，进行分离调整；具体步骤如下：(2‑1)用户对声音源的发声区间和不发声区间进行修改，调整每种声音的特征频谱个数k，k的取值范围在1到min(M,N)；(2‑2)用户更新分离结果，具体步骤如下：(2‑2‑1)定义一个与Hi大小相同的矩阵Hmask，Hmask中令标记后发声的区域对应数值为1，不发声的区域数值为0，同时在发声和不发声区域的交界处的若干列赋值为0.1且列的数量不超过连续同数值区域的横坐标长度的10％；将步骤(1)得到的Hi与Hmask相乘，得到更新后的Hi；(2‑2‑2)将更新后的Hi按照原顺序组合成为新的H，将新得到的H和步骤(1)得到的W分别作为初始H和W，重复步骤(1‑3‑2)至(1‑3‑3)，得到新的非负矩阵W和非负矩阵H；(2‑3)重复步骤(1‑4)至(1‑5)，得到新的分离结果，分离结束。