[发明专利]基于transformer框架的多通道声纹识别方法及装置、设备

说明书

本发明公开了一种基于transformer框架的多通道声纹识别方法及装置、设备，该方法包括：将待识别的音频信息进行声源分解，再通过短时傅里叶变换得到三通道频谱图Ⅰ；对同一组三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ；将两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型中，并利用改进的LeViT神经网络模型对音频信息的声纹进行识别处理输出音频信息的声纹识别信息，声纹识别信息至少包括音频信息对应的说话者。通过本发明提供的方法，通过对音频信息进行处理，得到了多个通道的音频信号，从而起到识别音频的准确率更高的作用；且通过改进的LeViT神经网络模型可更准确的识别音频信号，增加了模型的复杂度，使得准确率有大幅度的提升。

技术领域

本发明涉及声音检测技术领域，尤其涉及一种基于transformer框架的多通道声纹识别方法及装置、设备及存储介质。

背景技术

目前，声纹识别任务的传统方法包括Gaussian Mixture Model-UniversalBackground Model(GMM-UBM，高斯混合-通用背景模型)，support vector machine(SVM)-based GMM-UBMs and the i-vector models(基于高斯混合-通用背景模型和i-vector模型的支持向量机)。这些传统方法对于大规模数据的识别效果表现较差，于是引入了深度学习来处理大规模的数据。

已提出的网络主要是convolution neural network(CNN，卷积神经网络)，包括单通道的CNN以及多通道的CNN，但由于CNN的网络复杂度有限，最终的识别准确率也有限。

有鉴于此，有必要提出对目前的声纹识别方法进行进一步的改进。

发明内容

为此，本发明目的在于至少一定程度上解决现有技术中的不足，从而提出一种基于transformer框架的多通道声纹识别方法及装置、设备及存储介质。

第一方面，本发明提供了一种基于transformer框架的多通道声纹识别方法，所述方法包括：

将待识别的音频信息进行声源分解，再通过短时傅里叶变换得到三通道频谱图Ⅰ；

对同一组所述三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ；

将所述两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型中，并利用所述改进的LeViT神经网络模型对所述音频信息的声纹进行识别处理输出音频信息的声纹识别信息，其中所述声纹识别信息至少包括所述音频信息对应的说话者。

第二方面，本发明提供了一种基于transformer框架的多通道声纹识别装置，包括：

变换模块：用于将待识别的音频信息进行声源分解，再通过短时傅里叶变换得到三通道频谱图Ⅰ；

处理模块：用于对同一组所述三通道频谱图Ⅰ分别同时进行转置、填补或截断，得到两组三通道频谱图Ⅱ；

识别模块：用于将所述两组三通道频谱图Ⅱ输入至改进的LeViT神经网络模型，并利用所述改进的LeViT神经网络模型对所述音频信息的声纹进行识别处理输出所述音频信息的声纹识别信息，其中所述声纹识别信息至少包括所述音频信息对应的说话者。

第三方面，本发明还提供了一种声纹识别终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面所述的基于transformer框架的多通道声纹识别方法中的各个步骤。

第四方面，本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现如第一方面所述的基于transformer框架的多通道声纹识别方法中的各个步骤。