[发明专利]声音信号处理方法、装置和电子设备

权利要求书

1.一种声音信号处理方法，其特征在于，包括：

将第一音频数据对应的第一频谱数据，导入预先训练的声音处理模型，得到处理结果；

基于所述处理结果，生成所述第一音频数据对应的纯净音频数据；其中，

所述声音处理模型包括至少一个预设卷积层，在所述预设卷积层执行的操作包括：基于第一卷积核组，对输入预设卷积层的对应第一声谱特征图进行卷积操作，得到第二声谱特征图；基于第二卷积核组，对得到的第二声谱特征图进行合并，得到与第二卷积核组对应的第三声谱特征图；

所述声音处理模型包括至少一个自注意力层，所述自注意力层设置在所述至少一个预设卷积层之后；其中，在所述自注意力层中执行的操作包括：对于预设卷积层输出的每个声谱特征图，根据该声谱特征图中每个位置的取值与该声谱特征图中其它位置的取值，对该位置进行重新取值。

2.根据权利要求1所述的方法，其特征在于，所述第一卷积核组的数量与输入至所述预设卷积层的第一声谱特征图的数量匹配，所述第二卷积核组的数量与输出通道数量匹配。

3.根据权利要求1所述的方法，其特征在于，第一卷积核组中的第一卷积核数量为至少两个；以及

所述基于第一卷积核组，对输入预设卷积层的对应第一声谱特征图进行卷积操作，得到第二声谱特征图，包括：

根据第一对应关系，采用第一卷积核组中的第一卷积核对第一声谱特征图进行卷积操作，得到第二声谱特征图，其中，第一对应关系用于指示第一卷积核与第一声谱特征图的频率之间的对应关系。

4.根据权利要求1所述的方法，其特征在于，第二卷积核组中的第二卷积核数量为至少两个；以及

所述基于第二卷积核组，对得到的第二声谱特征图进行合并，得到与第二卷积核组对应的第三声谱特征图，包括：

根据第二对应关系，采用第二卷积核组中的第二卷积核合并得到的第二声谱特征图，得到与第二卷积核组对应的第三声谱特征图，其中，所述第二对应关系用于指示第二卷积核与第二声谱特征图的频率之间的对应关系。

5.根据权利要求1所述的方法，其特征在于，第一卷积核组的卷积核数量根据第一声谱特征图频率维的长度和第一步长确定。

6.根据权利要求1所述的方法，其特征在于，第一卷积核的感受野基于候选采样位置和预设的位置偏移参数确定。

7.根据权利要求1所述的方法，其特征在于，应用于终端设备，所述声音处理模型设置于所述终端设备。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述处理结果包括掩蔽数据；以及

所述基于所述处理结果，生成所述第一音频数据对应的纯净音频数据，包括：

根据所述掩蔽数据和所述第一频谱数据，生成第二频谱数据；

将第二频谱数据转换为时域数据，得到所述纯净音频数据。

9.根据权利要求8所述的方法，其特征在于，所述声音处理模型通过以下方式训练：

获取混合音频样本；

将混合音频样本导入未训练完成的声音处理模型，生成候选掩蔽数据；

根据所述混合音频样本的标签和所述候选掩蔽数据，生成第一损失值；

基于所述第一损失值，调整未训练完成的声音处理模型中的参数；其中

所述混合音频样本的标签通过如下方式生成：对纯净音频样本和混合音频样本分别进行时频变换，根据变换得到数据生成训练用掩蔽数据，以及将训练用掩蔽数据确定为标签。

10.根据权利要求1-7中任一项所述的方法，其特征在于，所述处理结果包括纯净频谱数据；以及

所述基于所述处理结果，生成所述第一音频数据对应的纯净音频数据，包括：

将纯净频谱数据转换为时域数据，得到所述纯净音频数据。