[发明专利]一种自监督学习的声纹识别模型训练方法、装置及可读介质在审
申请号: | 202111591886.8 | 申请日: | 2021-12-23 |
公开(公告)号: | CN114464195A | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 张广学;肖龙源;李稀敏;叶志坚 | 申请(专利权)人: | 厦门快商通科技股份有限公司 |
主分类号: | G10L17/04 | 分类号: | G10L17/04;G10L17/06;G10L25/03 |
代理公司: | 厦门市首创君合专利事务所有限公司 35204 | 代理人: | 连耀忠 |
地址: | 361000 福建省厦门市*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 监督 学习 声纹 识别 模型 训练 方法 装置 可读 介质 | ||
1.一种自监督学习的声纹识别模型训练方法,其特征在于,包括以下步骤:
S1,在声纹识别模型的至少一代训练过程中使用第一训练数据进行训练,得到训练后的声纹识别模型,并通过所述训练后的声纹识别模型对所述第一训练数据进行相似度计算,得到第一相似度结果,基于所述第一相似度结果将所述第一训练数据分为第二训练数据和第三训练数据;
S2,在所述训练后的声纹识别模型的至少一代训练过程中使用所述第二训练数据进行训练,得到优化后的声纹识别模型,并通过所述优化后的声纹识别模型对所述第一训练数据进行相似度计算,得到第二相似度结果,基于所述第二相似度结果将所述第一训练数据分为第四训练数据和第五训练数据;
S3,从所述第五训练数据抽取一定数量的数据与所述第四训练数据结合为第六训练数据,在所述优化后的声纹识别模型的至少一代训练过程中使用所述第六训练数据进行训练,得到优化训练后的声纹识别模型,并通过所述优化训练后的声纹识别模型对所述第一训练数据进行相似度计算,得到第三相似度结果,基于所述第三相似度结果将所述第一训练数据分为第七训练数据和第八训练数据;
S4,重复步骤S1-S3,将所述第七训练数据作为第一训练数据对所述声纹识别模型进行训练,直至所述声纹识别模型达到预期效果或直至满足训练结束条件。
2.根据权利要求1所述的自监督学习的声纹识别模型训练方法,其特征在于,所述声纹识别模型的训练过程包括:
将训练数据中的语音数据进行VAD处理,提取有效语音片段,所述训练数据为第一训练数据、第二训练数据、第三训练数据、第四训练数据、第五训练数据、第六训练数据、第七训练数据和第八训练数据中的其中一个;
基于所述有效语音片段提取至少2或n个固定长度数据,并对所述至少2个固定长度数据提取语音特征,并将所述语音特征输入所述声纹识别模型,以每条语音数据自身作为标签进行计算三排名损失计算,输出声纹识别结果;
经过反向传播,更新网络参数。
3.根据权利要求1所述的自监督学习的声纹识别模型训练方法,其特征在于,所述步骤1中基于所述第一相似度结果将所述第一训练数据分为第二训练数据和第三训练数据具体包括:根据所述第一相似度结果的相似度大小排序,并在所述第一训练数据中选取指定间隔距离内的得分的数据作为第二训练数据,其余作为第三训练数据;
所述步骤2中基于所述第二相似度结果将所述第一训练数据分为第四训练数据和第五训练数据具体包括:根据所述第二相似度结果的相似度大小排序,并在所述第一训练数据中选取指定间隔距离内的得分的数据作为第四训练数据,其余作为第五训练数据;
所述步骤3中基于所述第三相似度结果将所述第一训练数据分为第六训练数据和第七训练数据具体包括:根据所述第三相似度结果的相似度大小排序,并在所述第一训练数据中选取指定间隔距离内的得分的数据作为第六训练数据,其余作为第七训练数据。
4.根据权利要求2所述的自监督学习的声纹识别模型训练方法,其特征在于,所述声纹识别模型的每一代训练包括至少一批训练,每一批训练数据由batch size条语音数据构成,每条语音数据具有2或n个所述语音特征,标签数为batch size×(2或n个),所述步骤S1中所述声纹识别模型进行1-3代训练,所述步骤S2和步骤S3中所述声纹识别模型进行2代训练。
5.根据权利要求1所述的自监督学习的声纹识别模型训练方法,其特征在于,所述步骤S3中所述第六训练数据包含三分之一的所述第五训练数据。
6.根据权利要求1所述的自监督学习的声纹识别模型训练方法,其特征在于,所述声纹识别模型包括ecapa-tdnn网络。
7.根据权利要求1所述的自监督学习的声纹识别模型训练方法,其特征在于,所述相似度包括余弦相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门快商通科技股份有限公司,未经厦门快商通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111591886.8/1.html,转载请声明来源钻瓜专利网。