[发明专利]基于transformer框架的多通道声纹识别方法及装置、设备

权利要求书

1.一种基于transformer框架的多通道声纹识别方法，其特征在于，所述方法包括：

将待识别的音频信息进行声源分解，再通过短时傅里叶变换得到三通道频谱图Ⅰ；

对同一组所述三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ；

将所述两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型中，并利用所述改进的LeViT神经网络模型对所述音频信息的声纹进行识别处理输出所述音频信息的声纹识别信息，其中所述声纹识别信息至少包括所述音频信息对应的说话者。

2.根据权利要求1所述的方法，其特征在于，所述改进的LeViT神经网络模型包括特征提取模型模块、自注意力-多层感知机模块和收缩自注意力模块，所述将所述两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型，并利用改进的LeViT神经网络模型对所述音频信息的声纹进行识别处理，具体包括：

通过所述特征提取模块对所述两组三通道频谱图Ⅱ进行特征提取；

依次通过第一阶段、第二阶段、第三阶段对进行特征提取后的所述两组三通道频谱图Ⅱ进行处理；所述第一阶段、第二阶段依次包括所述自注意力-多层感知机模块、收缩自注意力模块以及多层感知机模块，所述第三阶段依次包括自注意力-多层感知机模块以及平均池化层模块。

3.根据权利要求1所述的方法，其特征在于，对同一组所述三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ，还包括：

通过梅尔滤波器对所述三通道频谱图Ⅰ进行过滤处理。

4.根据权利要求2所述的方法，其特征在于，所述自注意力模块对所述三通道频谱图Ⅱ处理，具体包括：

对特征提取后的所述两组三通道频谱图Ⅱ进行线性变换，再计算第一自注意力；

对所述第一自注意力进行转置、维度变化并输入激活函数中计算，再通过第一线性层得到第一张量维度。

5.根据权利要求4所述的方法，其特征在于，所述对特征提取后的所述两组三通道频谱图Ⅱ进行线性变换，再计算第一自注意力具体包括：

对特征提取后的所述两组三通道频谱图Ⅱ进行线性变换，得到所述第一自注意力中的参数，所述参数至少包括Q、K、V，其中Q为query查询参数，K为key相关性参数，V为value被查询参数；

通过所述参数Q、K、V计算所述第一自注意力。

6.根据权利要求3所述的方法，其特征在于，所述收缩自注意力模块对所述三通道频谱图Ⅱ处理，具体包括：

对通过所述自注意力-多层感知机模块处理后的所述两组三通道频谱图Ⅱ进行采样后，得到第二自注意力的参数Q、K、V；

将所述参数Q的长宽减少一半，再计算所述第二自注意力；

对所述第二自注意力进行转置、维度变化并输入激活函数中计算，再通过第二线性层得到第二张量维度。

7.根据权利要求2所述的方法，其特征在于，所述依次通过第一阶段、第二阶段、第三阶段对进行特征提取后的所述两组三通道频谱图Ⅱ进行处理之后还包括：

将通过所述第三阶段处理后的所述两组三通道频谱图Ⅱ输入至softmax分类器中，得到所述音频信息对应的说话者。

8.一种基于transformer框架的多通道声纹识别装置，其特征在于，包括：

变换模块：用于将待识别的音频信息进行声源分解，再通过短时傅里叶变换得到三通道频谱图Ⅰ；

处理模块：用于对同一组所述三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ；

识别模块：用于将所述两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型中，并利用所述改进的LeViT神经网络模型对所述音频信息的声纹进行识别处理输出所述音频信息的声纹识别信息，其中所述声纹识别信息至少包括所述音频信息对应的说话者。