[发明专利]声学事件检测方法、装置、电子设备和存储介质在审
申请号: | 202210200026.5 | 申请日: | 2022-03-01 |
公开(公告)号: | CN114627861A | 公开(公告)日: | 2022-06-14 |
发明(设计)人: | 黄盼;梁芸浩;龙艳花 | 申请(专利权)人: | 云知声(上海)智能科技有限公司;上海师范大学 |
主分类号: | G10L15/08 | 分类号: | G10L15/08;G10L15/06 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 声学 事件 检测 方法 装置 电子设备 存储 介质 | ||
1.一种声学事件检测方法,包括:
获取目标音频;
对所述目标音频进行预处理;
将所述预处理后的目标音频输入经原始训练样本训练的第一声学事件检测模型与经高质量训练样本调整训练得到的第二声学事件检测模型;
根据所述第一声学事件检测模型与所述第二声学事件检测模型的输出确定所述目标音频中各个声音片段的声学事件类别。
2.根据权利要求1所述的方法,其中,所述高质量训练样本包括经由以下步骤筛选得到的训练样本:
通过预先训练的语音分离模型获得原始音频数据中包括的分离音频片段及与各个分离音频片段的对应的第一类型信息;
通过预先训练的声学事件检测模型对所述分离音频片段进行标签标注得到与各个分离音频片段的对应的第二类型信息;
筛选出对应的第一类型信息与第二类型信息相同的分离音频片段;
将筛选出的分离音频片段确定为所述高质量训练样本,将与筛选出的分离音频片段对应的第一类型信息或第二类型信息确定为所述高质量训练样本的标签。
3.根据权利要求2所述的方法,其中,所述筛选出对应的第一类型信息与第二类型信息相同的分离音频片段,包括:
筛选出对应的第一类型信息与第二类型信息相同,且第一类型信息或第二类型信息为目标事件类型的分离音频片段。
4.根据权利要求1-3中任一项所述的方法,其中,所述方法还包括调整训练所述第二声学事件检测模型的步骤,所述调整训练所述第二声学事件检测模型的步骤包括:
叠加所述高质量训练样本中的分离音频片段,形成混合音频;
将所述混合音频输入第三声学事件检测模型中,得到第一预测结果;
将所述高质量训练样本中的分离音频片段依次输入第四声学事件检测模型中,并依次生成相应的第二预测结果;
根据所述第一预测结果与所述第二预测结果以及所述高质量训练样本的标签,调整所述第一预测结果与所述第二预测结果加权的权重参数以及所述第四声学事件检测模型的参数。
5.根据权利要求4所述的方法,其中,所述第二声学事件检测模型包括调整参数后的第四声学事件检测模型,和/或根据调整后的权重参数加权所述第三声学事件检测模型与参数调整后的第四声学事件检测模型得到的第五声学事件检测模型。
6.根据权利要求1所述的方法,其中,所述根据所述第一声学事件检测模型与所述第二声学事件检测模型的输出确定所述目标音频中各个声音片段的声学事件类别,包括:
基于所述第一声学事件检测模型与所述第二声学事件检测模型的类区分度,自适应加权融合所述第一声学事件检测模型与所述第二声学事件检测模型的输出结果;
根据加权融合后的输出结果确定所述目标音频中各个声音片段的声学事件类别。
7.一种声学事件检测装置,包括:
获取单元,被配置成获取目标音频;
预处理单元,被配置成对所述目标音频进行预处理;
输入单元,被配置成将所述预处理后的目标音频输入经原始训练样本训练的第一声学事件检测模型与经高质量训练样本调整训练得到的第二声学事件检测模型;
确定单元,被配置成根据所述第一声学事件检测模型与所述第二声学事件检测模型的输出确定所述目标音频中各个声音片段的声学事件类别。
8.根据权利要求7所述的装置,其中,所述装置还包括筛选单元,所述筛选单元被配置成:
通过预先训练的语音分离模型获得原始音频数据中包括的分离音频片段及与各个分离音频片段的对应的第一类型信息;
通过预先训练的声学事件检测模型对所述分离音频片段进行标签标注得到与各个分离音频片段的对应的第二类型信息;
筛选出对应的第一类型信息与第二类型信息相同的分离音频片段;
将筛选出的分离音频片段确定为所述高质量训练样本,将与筛选出的分离音频片段对应的第一类型信息或第二类型信息确定为所述高质量训练样本的标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声(上海)智能科技有限公司;上海师范大学,未经云知声(上海)智能科技有限公司;上海师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210200026.5/1.html,转载请声明来源钻瓜专利网。