[发明专利]音频数据处理方法、装置、终端设备以及存储介质在审
申请号: | 202111255819.9 | 申请日: | 2021-10-27 |
公开(公告)号: | CN113990329A | 公开(公告)日: | 2022-01-28 |
发明(设计)人: | 吴康健 | 申请(专利权)人: | 腾讯音乐娱乐科技(深圳)有限公司 |
主分类号: | G10L19/00 | 分类号: | G10L19/00;G10L19/04;G10L25/27 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 数据处理 方法 装置 终端设备 以及 存储 介质 | ||
本申请实施例公开了一种音频数据处理方法、装置、终端设备以及存储介质,该方法包括:获取第一音频数据对应的第一音高特征序列,该第一音高特征序列可以是音高Midi符号序列;通过编码器对第一音高特征序列进行编码处理,并获取经编码器处理得到的第一编码特征向量,该编码器根据多个样本音频对训练得到;将第一编码特征向量输入音准识别网络,通过音准识别网络确定第一音频数据的音准识别结果。采用本申请实施例,可降低音准识别的成本,提高音准识别精度。
技术领域
本申请涉及计算机技术领域,尤其涉及一种音频数据处理方法、装置、终端设备以及存储介质。
背景技术
随着人工智能技术的发展,手机、平板电脑等终端设备已经成为了人们生活中不可或缺的一部分,用户可以通过在终端上安装各种应用程序来实现各种应用功能,从而满足用户在日常生活中不同的需求,例如,音乐软件或K歌软件。在现有的音乐软件或者K歌软件中,除了提供常用的歌曲下载功能或音乐播放功能之外,还可以提供歌曲演唱功能,并对用户所演唱的歌曲进行音准判定,以帮助用户调整歌曲演唱效果。相关技术的音准判定系统中,提出了基于干声频谱使用卷积网络进行分类建模的音准识别方法,也就是说,通过训练音准识别模型,可使得向音准识别模型输入音频数据对应的频谱图,音准识别模型可输出音准识别结果,即输出音准准确或者音准不准确结果。但是音准识别模型通常需要大量音频数据以及人工标记的每个音频数据对应的音准标签作为训练样本对模型进行训练,这种依赖于有经验的老师对每个音频数据进行判定,并标记音准标签的方式成本较高,且模型的音准识别精度也不太高。
发明内容
本申请实施例提供一种音频数据处理方法、装置、终端设备以及存储介质,可降低音准识别的成本,提高音准识别精度。
第一方面,本申请实施例提供了一种音频数据处理方法,该方法包括:
获取第一音频数据对应的第一音高特征序列;
通过编码器对所述第一音高特征序列进行编码处理,并获取经所述编码器处理得到的第一编码特征向量,所述编码器根据多个样本音频对训练得到;
将所述第一编码特征向量输入音准识别网络,通过所述音准识别网络确定所述第一音频数据的音准识别结果。
结合第一方面,在一种可能的实施方式中,所述方法还包括:
获取与目标样本音频对对应的音高特征序列相关联的掩码音高特征序列,所述目标样本音频对包括第一音频片段和第二音频片段,所述目标样本音频对为所述多个样本音频对中的任一个样本音频对;
通过初始编码器确定所述掩码音高特征序列对应的编码特征向量,并分别根据音高字符分类网络对所述编码特征向量进行音高字符预测处理,得到所述掩码音高特征序列中包括k个掩码字符对应的音高字符预测结果,以及根据音频片段识别网络对所述编码特征向量进行音频分类预测处理,得到对所述目标样本音频对中所述第一音频片段和所述第二音频片段是否来源于同一音频的音频分类预测结果,k为大于0的整数;
根据所述音高字符预测结果和所述音频分类预测结果调整所述初始编码器的网络参数,得到所述编码器。
结合第一方面,在一种可能的实施方式中,所述编码特征向量为m×h维特征矩阵;所述根据音频片段识别网络对所述编码特征向量进行音频分类预测处理,得到对所述目标样本音频对中所述第一音频片段和所述第二音频片段是否来源于同一音频的音频分类预测结果,包括:
对所述编码特征向量进行全局平均池化处理,得到音频特征向量,所述音频特征向量为1×h维特征向量;
将所述音频特征向量输入所述音频片段识别网络,通过所述音频片段识别网络确定所述第一音频片段和所述第二音频片段是否来源于同一音频,以得到音频分类预测结果。
结合第一方面,在一种可能的实施方式中,所述根据所述音高字符预测结果和所述音频分类预测结果调整所述初始编码器的网络参数,得到所述编码器,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯音乐娱乐科技(深圳)有限公司,未经腾讯音乐娱乐科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111255819.9/2.html,转载请声明来源钻瓜专利网。