[发明专利]音频事件的检测方法、装置、电子设备及存储介质在审
申请号: | 202010693055.0 | 申请日: | 2020-07-17 |
公开(公告)号: | CN111899760A | 公开(公告)日: | 2020-11-06 |
发明(设计)人: | 王俊;王晓瑞;李岩 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G10L25/18 | 分类号: | G10L25/18;G10L25/12;G10L25/30;G10L25/45 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 仝丽 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 事件 检测 方法 装置 电子设备 存储 介质 | ||
1.一种音频事件的检测方法,其特征在于,包括:
获取待识别的音频数据对应的音频特征;
根据所述音频特征的频域信息,对所述音频特征进行划分,生成多个子频带特征;
对所述多个子频带特征分别进行特征提取,得到多个子频带目标特征;
根据所述多个子频带目标特征,得到所述音频数据中每个音频事件的类别检测结果和时间检测结果。
2.根据权利要求1所述的音频事件的检测方法,其特征在于,所述对所述多个子频带特征分别进行特征提取,得到多个子频带目标特征,包括:
将所述多个子频带特征输入至第一神经网络,得到所述多个子频带目标特征,所述第一神经网络包括多个子频带网络,每个子频带网络与一个子频带特征对应。
3.根据权利要求2所述的音频事件的检测方法,其特征在于,所述子频带网络包括多个依次连接的局部注意力块;所述将所述多个子频带特征输入至第一神经网络,得到所述多个子频带目标特征,包括:
对每个子频带特征,将所述每个子频带特征输入至与所述每个子频带特征对应的子频带网络中的第一个局部注意力块,得到子频带中间特征;
将所述子频带中间特征依次输入至下一个局部注意力块,直至输出所述每个子频带特征对应的子频带目标特征。
4.根据权利要求1所述的音频事件的检测方法,其特征在于,所述根据所述多个子频带目标特征,得到所述音频数据中每个音频事件的类别检测结果和时间检测结果,包括:
融合所述多个子频带目标特征,生成所述音频数据对应的音频融合特征;
将所述音频融合特征输入至第二神经网络,得到所述音频数据对应的音频目标特征;
根据所述音频目标特征,确定所述音频数据中每个音频事件的类别检测结果和时间检测结果。
5.根据权利要求4所述的音频事件的检测方法,其特征在于,所述融合所述多个子频带目标特征,生成所述音频数据对应的音频融合特征,包括:
根据所述频域信息,拼接所述多个子频带目标特征;
对拼接后的子频带目标特征进行卷积和池化处理,得到所述音频融合特征。
6.根据权利要求4所述的音频事件的检测方法,其特征在于,所述第二神经网络包括两个第二子神经网络,所述两个第二子神经网络包含不同的激活函数;所述将所述音频融合特征输入至第二神经网络,得到所述音频数据对应的音频目标特征,包括:
将所述音频融合特征输入至每个第二子神经网络,得到所述每个第二子神经网络输出的音频中间特征;
根据所述频域信息,拼接所述每个第二子神经网络分别输出的音频中间特征,得到所述音频目标特征。
7.根据权利要求1~6任一项所述的音频事件的检测方法,其特征在于,所述时间检测结果包括每个音频事件的起始帧数和结束帧数;所述获取所述音频数据中每个音频事件的类别检测结果和时间检测结果之后,还包括:
获取每帧音频数据对应的时间长度;
根据所述每帧音频数据对应的时间长度,以及所述每个音频事件的起始帧数和结束帧数,生成每个音频事件对应的起始时间和结束时间。
8.一种音频事件的检测装置,其特征在于,包括:
音频特征获取模块,被配置为执行获取待识别的音频数据对应的音频特征;
子频带特征生成模块,被配置为执行根据所述音频特征的频域信息,对所述音频特征进行划分,生成多个子频带特征;
第一特征生成模块,被配置为执行对所述多个子频带特征分别进行特征提取,得到多个子频带目标特征;
检测结果生成模块,被配置为执行根据所述多个子频带目标特征,得到所述音频数据中每个音频事件的类别检测结果和时间检测结果。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的音频事件的检测方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的音频事件的检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010693055.0/1.html,转载请声明来源钻瓜专利网。