[发明专利]自组织麦克风阵列下基于注意力的多通道说话人确认方法

权利要求书

1.一种自组织麦克风阵列下基于注意力的多通道说话人确认方法，其特征在于，包括以下步骤：

步骤1：构建单通道说话人确认系统；

所述单通道说话人确认系统网络结构包括三部分：前端残差卷积神经网络ResNet、自注意力池化SAP层和全连接层；ResNet将原始特征转换为高级抽象表示，接在ResNet后的SAP层输出单个句子级表示，之后，全连接层将单个句子级表示处理为句子级说话人嵌入；单通道说话人确认系统采用端到端的方式和角度原型损失函数进行联合优化；

步骤2：构建多通道说话人确认系统；

所述多通道说话人确认系统是在C个并行的单通道系统的SAP层之后设置多个级联的基于残差自注意力的通道间处理层和全局融合层，在全局融合层后设置全连接层；

步骤2-1：基于残差自注意力的通道间处理层；

所述多个级联的基于残差自注意力的通道间处理层的输入为C个并行的单通道系统的SAP层输出的句子级表示，输出为通道加权的句子级表示；

用X＝[x₁，…，x_C]表示通道间处理层的输入，其中表示第c个通道的句子级别特征，其中C表示通道数，d表示特征维数；

假设自注意力的注意力头个数为h，对于每一个注意力头，输入特征X分别转换为维度E的查询矩阵、键矩阵、值矩阵，如式(1)所示：

其中，d_k＝E/h，i表示第i个注意力头；矩阵Q、K、V分别表示查询矩阵、键矩阵、值矩阵，都属于域为模型参数；

在每个注意力头中，通过将查询矩阵和键矩阵相乘得到跨通道相似度矩阵；将softmax矩阵用Sparsemax算子替换，应用到跨通道相似度矩阵的每一列获得注意力矩阵

其中，prev表示来自前一个通道处理层的注意力得分；

再将值矩阵Vⁱ乘以注意力矩阵得到第i个注意力头的输出Hⁱ：

Hⁱ＝Aⁱ·Vⁱ (3)

将Hⁱ进行连接，得到注意力层的输出Z：

Z＝Concat[H¹，H²，...，H^h]W^O (4)其中，表示可学习的权重矩阵；

将Z输出到具有ReLU激活的前馈神经网络FFN中，FFN的输出即为当前通道间处理层的输出；

步骤2-2：全局融合层；

经过多个基于残差自注意力的通道间处理层后，输入到全局融合层；所述全局融合层由一个跨通道的多头残差自注意力模块和一个平均池化层组成，对所有通道信息进行融合；

步骤2-3：全局融合层的输出再经过全连接层，得到最终的输出。

进一步地，所述Sparsemax算子被定义为：

其中，表示一个(K-1)维的向量；Sparsemax将输入向量z和p的欧几里得距离最小化，表示一个稀疏向量，其解有以下的形式：

Sparsemax_i(z)＝max(z_i-τ(z)，0) (6)

其中，用于找到软阈值，z的排序坐标z₍₁₎≥z₍₂₎≥…≥z_(K)，定义：

k(z)：＝max{k∈[K]|1+kz_(k)＞∑_j≤kz_(j)}，则：