[发明专利]多人会话检测方法、系统、移动终端及存储介质有效
申请号: | 202010887484.1 | 申请日: | 2020-08-28 |
公开(公告)号: | CN112216285B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 张广学;李稀敏;叶志坚;蔡渠棠 | 申请(专利权)人: | 厦门快商通科技股份有限公司 |
主分类号: | G10L17/16 | 分类号: | G10L17/16;G10L25/24 |
代理公司: | 厦门仕诚联合知识产权代理事务所(普通合伙) 35227 | 代理人: | 吴圳添 |
地址: | 361009 福建省厦门市*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 会话 检测 方法 系统 移动 终端 存储 介质 | ||
1.一种多人会话检测方法,其特征在于,所述方法包括:
获取待检测音频,并提取所述待检测音频的音频特征;
对所述音频特征进行归一化处理,得到归一化特征,并将所述归一化特征输入第一GRU网络进行会话分析,得到多人会话检测结果;
将所述音频特征、所述归一化特征和所述多人会话检测结果输入第二GRU网络进行音量特征评估,得到音量评估结果;
将所述音频特征、所述多人会话检测结果和所述音量评估结果输入第三GRU网络进行会话能量比计算,得到能量比特征;
根据所述能量比特征确定所述待检测音频中会话人的个数。
2.如权利要求1所述的多人会话检测方法,其特征在于,所述提取所述待检测音频的音频特征的步骤包括:
对所述待检测音频进行分帧处理,得到分帧音频;
分别提取每个所述分帧音频的mfcc特征、基音周期、过零率、能量均方根、HNR或谱平坦系数,以得到所述音频特征。
3.如权利要求1所述的多人会话检测方法,其特征在于,所述将所述归一化特征输入第一GRU网络进行会话分析的步骤包括:
根据所述第一GRU网络对所述归一化特征中的多会话人特征和单会话人特征进行分类,得到所述多人会话检测结果。
4.如权利要求1所述的多人会话检测方法,其特征在于,所述将所述音频特征、所述归一化特征和所述多人会话检测结果输入第二GRU网络进行音量特征评估的步骤包括:
控制所述第二GRU网络根据所述归一化特征和所述多人会话检测结果,获取当前训练批次中多人会话音频对应的会话人特征;
根据所述多人会话音频对应的会话人特征和所述音频特征查询多人会话特征位置;
对所述多人会话特征位置进行音量计算,得到所述音量评估结果。
5.如权利要求4所述的多人会话检测方法,其特征在于,所述将所述音频特征、所述多人会话检测结果和所述音量评估结果输入第三GRU网络进行会话能量比计算的步骤包括:
根据所述第三GRU网络获取所述待检测音频中所述多人会话特征位置对应的音频信息,得到所述多人会话音频;
根据所述多人会话检测结果获取所述待检测音频中的单人会话音频,并对所述单人会话音频和所述多人会话音频分别进行傅里叶变换,得到单人会话频谱图和多人会话频谱图;
根据所述单人会话频谱图和所述多人会话频谱图分别计算每个所述会话人的基频振幅;
计算不同所述会话人之间所述基频振幅的比值,得到所述能量比特征。
6.如权利要求1所述的多人会话检测方法,其特征在于,对所述音频特征进行归一化处理所采用的方式为线性函数归一化或0均值归一化。
7.一种多人会话检测系统,其特征在于,所述系统包括:
音频特征提取模块,用于获取待检测音频,并提取所述待检测音频的音频特征;
会话分析模块,用于对所述音频特征进行归一化处理,得到归一化特征,并将所述归一化特征输入第一GRU网络进行会话分析,得到多人会话检测结果;
音量特征评估模块,用于将所述音频特征、所述归一化特征和所述多人会话检测结果输入第二GRU网络进行音量特征评估,得到音量评估结果;
会话能量比计算模块,用于将所述音频特征、所述多人会话检测结果和所述音量评估结果输入第三GRU网络进行会话能量比计算,得到能量比特征,并根据所述能量比特征确定所述待检测音频中会话人的个数。
8.如权利要求7所述的多人会话检测系统,其特征在于,所述音频特征提取模块还用于:
对所述待检测音频进行分帧处理,得到分帧音频;
分别提取每个所述分帧音频的mfcc特征、基音周期、过零率、能量均方根、HNR或谱平坦系数,以得到所述音频特征。
9.一种移动终端,其特征在于,包括存储设备以及处理器,所述存储设备用于存储计算机程序,所述处理器运行所述计算机程序以使所述移动终端执行根据权利要求1至6任一项所述的多人会话检测方法。
10.一种存储介质,其特征在于,其存储有权利要求9所述的移动终端中所使用的计算机程序,该计算机程序被处理器执行时实现权利要求1至6任一项所述的多人会话检测方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门快商通科技股份有限公司,未经厦门快商通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010887484.1/1.html,转载请声明来源钻瓜专利网。