[发明专利]基于组合卷积神经网络的声音事件检测与定位方法

权利要求书

1.一种基于组合卷积神经网络的声音事件检测与定位方法，其特征在于它由下述步骤组成：

(1)数据集预处理

从TAU空间声音事件数据集中提取语音信号，包含11种声音事件类别，清嗓、咳嗽声、摁门铃、推门声、抽屉声、键盘声、敲门声、说话声、笑声、翻书声、电话铃声，将TAU空间声音事件数据集按照4：1的比例分成训练集、测试集；

(2)提取特征

将语音信号按下式提取梅尔频谱图特征m：

其中，f表示实际频率，按下式确定广义互相关-相位变换特征R_y1y2(τ)：

其中，G_x1x2(f)表示x1、x2两路信号的功率谱，表示相位变换加权函数，τ表示时间延迟；

(3)构建组合卷积神经网络

组合卷积神经网络由双分支卷积神经网络与线性密集连接混合神经网络、全连接层依次串联构成；

所述的双分支卷积神经网络由第一分支卷积神经网络、第二分支卷积神经网络、特征融合网络构成，第一分支卷积神经网络与第二分支卷积神经网络并联后的输出端与特征融合网络的输入端相连；

所述的线性密集连接混合神经网络由因果卷积层与第一空洞残差块、第二空洞残差块、Transformer网络、第三空洞残差块、深度可分离卷积层依次串联构成；

(4)训练组合卷积神经网络

1)确定目标函数

目标函数包括二进制交叉熵损失函数L、均方误差损失函数MSE、评价函数F1、评价函数ER、评价函数DOAerror、评价函数Framerecall，按下式确定二进制交叉熵损失函数L：

其中y是真实的标签值，y∈{0,1}，是预测的概率值，按下式确定均方误差损失函数MSE：

其中n是样本的数量，n为有限的正整数，y_i是第i个样本的实际值，y_i′是第i个样本的预测值；

按下式确定准确率和召回率两者综合指标的评价函数F1：

其中，P是准确率，R是召回率，TP是真正例，FP是假正例，FN是假负例；

按下式确定错误发生数目的评价函数ER：

S(k)＝min(FN(k),FP(k))

D(k)＝max(0,FN(k)-FP(k))

I(k)＝max(0,FP(k)-FN(k))

其中，FN(k)表示系统输出中第k段中的假负例事件，FP(k)表示系统输出中第k段中的假正例事件；

按下式确定评价函数DOAerror：

其中，表示第t时间的参考角度，DOAt_E表示第t时间的估计角度，表示估计在第t个时间的总的角度数，H是指解决任务分配的匈牙利方法；

按下式确定评价函数Framerecall：

其中，1()表示满足的条件，输出1，否则输出0，表示参考在第t个时间总的角度数，T表示时间帧，且不等于0；

2)训练组合卷积神经网络

将提取的梅尔频谱图特征m和广义互相关-相位变换特征R_y1y2(τ)送入双分支卷积神经网络中，进行深度语音特征提取，将双分支卷积神经网络输出的深度语音特征，输入线性密集连接混合神经网络中对语音的时间依赖性进行建模，在训练过程中，组合卷积神经网络的学习率r∈[10^-5,10^-3]，优化器采用Adam优化器，迭代至损失函数L和MSE收敛；

(5)测试组合卷积神经网络

将测试集输入到训练好的组合卷积神经网络中进行测试；

(6)检测和定位声音事件

使用全连接层中的Sigmoid激活函数进行激活，Sigmoid激活函数的取值范围为0～1之间，Sigmoid激活函数的值大于0.5时，检测声音事件存在，则对其进行到达方向的估计；声音事件位置距离为1m时，参考方位角为[-180°,180°]、参考仰角为[-40°,40°]，声音事件位置距离为2m时，参考方位角为[-180°,180°]、参考仰角为[-20°,20°]，以每间隔10°为一个划分；

取标签中所有的参考方位角为数组M，按下式确定估计方位角γ：

取标签中所有的参考仰角为数组N，按下式确定估计仰角β：

将估计方位角γ和估计仰角β与参考方位角和参考仰角通过评价函数DOAerror计算得到两者之间的平均角度误差。