[发明专利]一种基于多任务学习的端到端声源定位方法及系统

权利要求书

1.一种基于多任务学习的端到端声源定位方法，其步骤包括：

1)对于待扫描的每个声源位置，计算声音信号从该声源位置传输到麦克风阵列中各麦克风位置的延时；

2)根据所述延时对该麦克风阵列每次扫描时各麦克风所采集的多通道帧级别的时域信号进行相应延时补偿；

3)将每一延时补偿后的时域信号输入到一对应的CNN模型进行特征提取并将提取的特征输入到一深度神经网络；该深度神经网络包括多个DNN模型，CNN_m将提取的特征输入到DNN_m,n；其中，CNN_m为第m个麦克风对应的CNN模型，DNN_m,n表示第n个扫描位置与第m个麦克风对应传输路径的DNN模型；m＝1,...,M,n＝1,...,N,M表示麦克风数目，N表示扫描位置数目；

4)该深度神经网络根据各CNN模型提取的特征估计出每一扫描位置的多通道声源信号；

5)对于每一扫描位置，计算该扫描位置对应的多通道声源信号的互相关系数和，选取相关系数和最大的位置作为声源位置；

其中训练得到DNN模型的方法为：31)对于每一设定的声源，使用麦克风阵列采集该声源的多通道的时域信号，并获取该声源的位置；然后对该声源的时域信号进行延时补偿，并基于延时补偿信号和MSE损失函数训练该声源位置对应的传输路径的DNN模型，直至达到收敛条件；其中基于MSE损失函数分别训练不同传输路径的模型，直至网络收敛；单个模型MSE公式为为第n个扫描位置上第m个麦克风的第i帧的估计的声源信号，s_m,n,i(t)为对应帧的源信号，T为一帧信号的采样点数，I为一个mini-batch中样本总帧数；32)在上述收敛基础上，引入交叉熵函数其中P_n,i为第i帧的第n个扫描位置的相关系数和SCorr(n)经softmax函数归一化的概率，Y_n,i为对应帧和扫描位置的监督信号；结合MSE和CE损失按比例相加构成最终的损失函数：首先计算各设定声源位置的传输路径的估计均方误差，将各估计均方误差进行加和作为损失函数中的MSE损失项；CE损失项是通过加入计算通道间一致性检测模块，用softmax函数将相关系数和归一化为不同位置的概率，即可获得概率向量，再与监督信号即one-hot向量根据CE的计算公式即可求的CE损失项，两者按相加即构成最终DNN模型的损失函数，α为一设定比例因子。

2.如权利要求1所述的方法，其特征在于，对所述时域信号进行延时补偿的方法为：其中，x_m表示第m个麦克风采集的帧级别的时域信号，表示用第n个扫描位置与第m个麦克风的延时对x_m进行延时补偿后的时域信号，τ_m,n表示第n个扫描位置与第m个麦克风的延时。

3.如权利要求1所述的方法，其特征在于，CNN模型对输入时域信号使用时域的一维卷积层进行特征提取。

4.如权利要求1所述的方法，其特征在于，采用估计出多通道声源信号；其中，为第n个声源位置上第m个麦克风的声源信号。