[发明专利]基于局部卷积块注意力网络的语音端点检测方法及系统

说明书

本发明属于语音信号处理领域，提供了一种基于局部卷积块注意力网络的语音端点检测方法及系统。该方法包括，获取语音数据的声谱图数据；利用局部敏感哈希算法为声谱图数据中的每一帧数据提取N个近邻帧，得到帧级的局部声谱图数据；将局部声谱图数据输入局部卷积块注意力网络中，经过卷积模块进行特征提取，在每个卷积块之后依次通过通道注意力模块、频谱注意力模块以及时间注意力模块进行注意力操作，得到增强的数据；将增强的数据输入分类器中，进行语音/非语音帧检测，得到预测结果。

技术领域

本发明属于语音信号处理领域，尤其涉及一种基于局部卷积块注意力网络的语音端点检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

语音端点检测(Voice activity detection,VAD)是一项检测话语中哪些部分包含语音，哪些部分是噪声段或静音段，并只保留语音段的任务。这样的任务通常是语音识别、语音增强等领域重要的预处理阶段，一个良好的VAD预处理系统能够减少整个模型的计算和延迟，是模型高性能的基础。但其还存在如下问题：

1)常规的时域、频域特征在低信噪比情境下无法准确的表征语音信号的特点；

2)在低信噪比条件下，VAD系统的检测精度受高强度噪声的影响较大；

3)面对非平稳的噪声背景，VAD系统的泛化能力会大幅降低。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于局部卷积块注意力网络的语音端点检测方法及系统，其通过局部敏感哈希算法动态的为声谱图中的每一帧频谱选取其近邻帧，形成帧级的局部声谱图输入；进而利用局部卷积块神经网络直接从频谱中学习帧级特征，同时在每一个卷积块后设置通道注意力、频谱注意力以及时间注意力，来帮助模型聚焦在更为重要的信息上，同时抑制不必要的特征。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于局部卷积块注意力网络的语音端点检测方法。

基于局部卷积块注意力网络的语音端点检测方法，包括：

获取语音数据的声谱图数据；

利用局部敏感哈希算法为声谱图数据中的每一帧数据提取N个近邻帧，得到帧级的局部声谱图数据；

将局部声谱图数据输入局部卷积块注意力网络中，经过卷积模块进行特征提取，在每个卷积块之后依次通过通道注意力模块、频谱注意力模块以及时间注意力模块进行注意力操作，得到增强的数据；

将增强的数据输入分类器中，进行语音/非语音帧检测，得到预测结果。

进一步的，所述获取语音数据的声谱图数据包括：将语音数据进行分帧、加窗；对加窗后的每一帧语音数据进行快速傅里叶变换得到二维声谱图数据。

进一步的，所述得到帧级的局部声谱图数据的过程包括：

选取一组哈希函数族，然后将每帧频谱向量映射为一个整型向量；

将这个整型向量映射到哈希表的某一个位上，得到哈希表索引，其中每个哈希表索引对应一个哈希桶；

根据这个整型向量的哈希值，得到频谱向量在哈希桶内的关键字；

将这个整型向量所代表的帧频谱数据在所有数据中的位置索引放入哈希表索引所对应的哈希桶内，直到所有的帧频谱数据索引都存放完毕；

对于每个查询，得到其哈希桶索引以及在桶内的关键字，查找该哈希桶内是否存在此关键字，若是，从哈希桶中取出所有关键字所对应的帧频谱数据的位置索引；