[发明专利]一种基于多任务的语种识别方法

权利要求书

1.一种基于多任务的语种识别方法，其特征在于，包括以下步骤：

构建并训练基于多任务学习的多语种识别模型；所述任务包括语种识别任务和是否为有效话音识别任务；

获取待识别语音数据，进行预处理得到待识别的第一语音队列；

将第一语音队列中语音数据进行分批处理，得到多个批次且每批中数据长短相近的第二语音队列；

将多批次的所述第二语音队列依次导入到所述多语种识别模型，在所述语种识别模型中同时进行语种识别和是否为有效话音识别后，逐批次输出识别结果；

所述多语种识别模型包括特征提取层、上下文编码层以及输出层；所述特征提取层采用wav2vec模型中的卷积网络；用于提取输入语音样本语音帧级别的浅层特征；所述上下文编码层采用wav2vec模型中基于自注意力机制的transformer网络，用于提取语音各个帧间的权重和特征；所述输出层为依据同时完成语种识别和数据有效识别任务的要求，对wav2vec模型输出层和损失函数进行调整后的输出层；所述输出层使用全连接网络将提取的权重和特征变换到与语种识别任务和数据有效识别任务对应的label维度，同时输出两个任务的识别结果。

2.根据权利要求1所述的语种识别方法，其特征在于，所述待识别语音数据的预处理方法，包括：

1)将获取的待识别语音数据进行重采样后，统一话音数据的采样率、编码、精度和头文件格式；

2)将声道数大于1的待识别话音数据拆分成单声道话音数据；

3)对于单声道话音数据进行语音检测，将语音数据分为固定时长的多个语音片段，根据每个语音片段在人声的频带范围内各子带的能量，判断语音片段内是否是静音片段，是则去掉该片段，否则保留；得到去除静音的话音数据；

4)根据语音切割的阈值范围，将去除静音的话音数据切割成为固定长度的话音数据片段；

5)将切割后的话音数据片段再次重采样后依次输出得到第一语音队列。

3.根据权利要求1所述的语种识别方法，其特征在于，将第一语音队列中语音数据进行分批处理，得到多个批次且每批中数据长短相近的第二语音队列；包括：

将所述第一语音队列中的话音数据片段取出后，按照长度进行排序，得到排序语音队列；

从排序语音队列中的一端持续取出话音数据片段，当取出话音数据片段的长度和达到预设长度后，将取出的话音数据片段组成一个批次的第二语音队列；

对排序后的语音队列持续取出并分批得到多批次的第二语音队列；

对于分批后，剩余不足一批的排序语音队列的语音数据，重新返回第一语音队列。

4.根据权利要求1所述的语种识别方法，其特征在于，所述输出层属于语种任务的输出Y_i为：

所述输出层属于数据有效识别任务的输出Z_i为：

其中，为语种类别概率归一化输出，数据有效性概率归一化输出，X_i为所述多语种识别模型输入的第i个样本数据；

为属于语种任务的经过卷积网络和自注意力网络后得到的隐层特征；

为属于数据有效识别任务的经过卷积网络和自注意力网络后得到隐层特征；T为经过所述多语种识别模型中的卷积操作后的帧个数。

5.根据权利要求4所述的语种识别方法，其特征在于，在多语种识别模型中的损失函数中引入加权因子α来平衡语种识别和数据有效识别两种任务的输出，使用加权因子β来缩放不同类别语种的损失。

6.根据权利要求5所述的语种识别方法，其特征在于，在多语种识别模型中的损失函数L_{fine_tuning}＝(1-α)L_y+αL_z；

其中，α为平衡语种识别和数据有效识别两种任务的输出的加权因子；L_y为语种识别任务的softmax交叉损失，L_z为数据有效识别任务的sigmoid交叉损失，y_i、z_i分别为语种的真实类别和有效音真实类别，N为样本总数。