[发明专利]一种声学场景分类方法在审
申请号: | 202110653222.3 | 申请日: | 2021-06-11 |
公开(公告)号: | CN113793624A | 公开(公告)日: | 2021-12-14 |
发明(设计)人: | 龙艳花;刘悦;梁芸浩;魏爽 | 申请(专利权)人: | 上海师范大学 |
主分类号: | G10L25/51 | 分类号: | G10L25/51;G10L25/30;G10L25/24;G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 上海宛林专利代理事务所(普通合伙) 31361 | 代理人: | 张明 |
地址: | 200234 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 声学 场景 分类 方法 | ||
1.一种声学场景分类方法,其特征在于,包括以下步骤:
首先针对采用参考设备录制的场景数据,训练基本场景分类模型;
然后根据采用移动设备录制的场景数据,训练设备独立场景分类模型;
根据训练好的设备独立场景分类模型,训练设备分类模型;
利用训练好的设备分类模型提取设备特性,结合设备分类模型,获得设备识别模型;
所有模型建立之后,进行数据自动录制并收集存储,并对收集的录制数据进行声学场景命名,并存储至云端;
根据用户参数,获得个性化定制的场景分类模型。
2.如权利要求1所述的一种声学场景分类方法,其特征在于,首先针对采用参考设备录制的场景数据,训练基本场景分类模型,具体包括:
利用参考设备A的声学场景数据集,提取对数梅尔频谱图作为声学特征,用9层卷积神经网络对所述声学场景数据集的声学特征进行训练,获得基本场景分类模型A-ASC。
3.如权利要求2所述的一种声学场景分类方法,其特征在于,提取对数梅尔频谱图作为声学特征之前,对所述声学场景数据集进行预处理,再对预处理后的音频数据进行语音分析,提取对数梅尔频谱图作为声学特征。
4.如权利要求3所述的一种声学场景分类方法,其特征在于,对数梅尔声谱图是将声学场景数据集中的音频数据进行傅里叶变换转换到频域上,采用梅尔频率滤波器对频域信号进行再处理;然后接入一组梅尔频率滤波器,将声谱图转换到更符合人耳听觉的Mel域,获得维度较低的梅尔频谱图,在梅尔频谱图的基础上,将每个频段的特征值进行对数运算,可以获得对数梅尔频谱图。
5.如权利要求1所述的一种声学场景分类方法,其特征在于,然后根据采用移动设备录制的场景数据,训练设备独立场景分类模型,具体包括:
从一个或多个移动设备录制的音频形成移动设备音频数据集,提取移动设备音频数据集中数据的声学特征,并在所述基本场景分类模型A-ASC上进行微调,获得与设备无关的设备独立场景分类模型BC-ASC。
6.如权利要求5所述的一种声学场景分类方法,其特征在于,根据训练好的设备独立场景分类模型,训练设备分类模型,具体包括:
加载训练好的所述设备独立场景分类模型BC-ASC,分别提取声学场景数据集、不同设备录制的同一信号的数据集的网络中层表征;根据声学场景数据集的表征向量进行加权平均获得类均值向量Ek,k表示第k类场景,将不同设备录制的同一信号的数据集中音频片段的表征向量定义为Ekn,表示第k类的第n个音频片段的网络表征,从而获得不同设备录制的同一信号的数据集中每条音频记录存在的设备特性表示第k类的第n个由第d个设备录制音频片段的所含的设备特性,网络表征最后用2层卷积神经网络和1层全连接层组成的模型CNN2对设备特性进行学习和分类,获得所述设备分类模型Device-C。
7.如权利要求6所述的一种声学场景分类方法,其特征在于,利用训练好的设备分类模型提取设备特性,结合设备分类模型,获得设备识别模型,具体包括:
利用提取的设备特性和设备分类模型Device-C,将模型CNN2作为设备识别模型的编码器部分,并设定网络参数,利用解码器部分对设备特性进行重构,获得设备识别模型Device-R。
8.如权利要求1所述的一种声学场景分类方法,其特征在于,根据用户参数,获得个性化定制的场景分类模型包括个性化注册和个性化分类;其中,
个性化注册包括根据用户设备参数,加载相关模型,识别用户的某段输入音频,识别所述音频所表征的声学场景及使用的移动设备,对用户的使用数据进行分类,获得用户专属数据;根据所述用户专属数据,提取所述用户专属数据的声学特征,并于设备独立场景分类模型中进行微调,获得个性化定制的场景分类模型;
所述个性化分类包括当用户使用时,获得的测试语句会经过个性化的声学场景分类模型User-ASC,判断出用户当前所处的声学场景类别,辅助其它应用软件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海师范大学,未经上海师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110653222.3/1.html,转载请声明来源钻瓜专利网。