[发明专利]音乐标签的生成方法、装置、电子设备及存储介质在审
申请号: | 202111415454.1 | 申请日: | 2021-11-25 |
公开(公告)号: | CN114048337A | 公开(公告)日: | 2022-02-15 |
发明(设计)人: | 左晨;张冉;茹港徽 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06F16/483 | 分类号: | G06F16/483;G06V10/80;G06V10/774;G06V10/764;G06K9/62;G06V10/82;G06F16/65;G06F16/683;G06F16/435;G06F17/16;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 左帮胜 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音乐 标签 生成 方法 装置 电子设备 存储 介质 | ||
本公开关于一种音乐标签的生成方法、装置、电子设备及存储介质,所述方法包括:从待处理音乐的音乐关联信息中提取得到对应的音乐关联特征;获取预训练的神经网络中的标签权重矩阵,标签权重矩阵用于表征多个标签之间的关联关系,标签权重矩阵是采用音乐样本以及音乐样本的标注标签对待训练的神经网络进行训练得到;根据音乐关联特征以及标签权重矩阵,确定待处理音乐的音乐标签。该方法将标签之间的关联关系作为确定音乐标签的因素,从而可以得到准确且表征范围全面的音乐标签。
技术领域
本公开涉及互联网技术领域,尤其涉及一种音乐标签的生成方法、装置、电子设备、计算机可读存储介质、计算机程序产品。
背景技术
随着多媒体技术的发展,越来越多的应用程序提供视频制作功能,以便用户能够制作视频。应用程序还可以向用户帐户推荐与视频相匹配的配乐,通过配乐以更好的表达视频所营造的情感和讲述内容。
在一些情况下,电子设备可以预先确定视频的视频标签和音乐库中各个音乐的音乐标签,基于标签匹配技术从音乐库中得到可推荐的音乐。相关技术中,通常根据音乐本身的音频特征、文本特征等中的一个或者多个对音乐进行分类处理,确定音乐标签。对于多标签分类任务,这种方式忽略了标签之间的关联性,因此,存在所生成的音乐标签不够准确的问题。
发明内容
本公开提供一种音乐标签的生成方法、装置、电子设备、计算机可读存储介质、计算机程序产品,以至少解决相关技术中音乐的音乐标签不够准确的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种音乐标签的生成方法,包括:
从待处理音乐的音乐关联信息中提取得到对应的音乐关联特征;
获取预训练的神经网络中的标签权重矩阵,所述标签权重矩阵用于表征多个标签之间的关联关系,所述标签权重矩阵是采用音乐样本以及所述音乐样本的标注标签对待训练的神经网络进行训练得到;
根据所述音乐关联特征以及所述标签权重矩阵,确定所述待处理音乐的音乐标签。
在其中一个实施例中,所述音乐关联特征包括音频隐层特征和至少一种文本特征;
所述根据所述音乐关联特征以及所述标签权重矩阵,确定所述待处理音乐的音乐标签,包括:
通过融合网络对所述音频隐层特征和至少一种所述文本特征进行融合,生成音乐特征;
根据所述音乐特征和所述标签权重矩阵,确定所述待处理音乐的音乐标签。
在其中一个实施例中,所述融合网络包括多层基于多头注意力机制的融合层,所述融合层的层数与所述文本特征的种类数量相对应;
所述通过融合网络对所述音频隐层特征和至少一种所述文本特征进行融合,生成音乐特征,包括:
当所述文本特征的种类为多种时,通过所述融合网络中的第一融合层对所述音频隐层特征和所述文本特征中的第一文本特征进行融合处理,得到第一融合特征;
通过所述融合网络中剩余的融合层对所述第一融合特征和所述文本特征中剩余的文本特征进行融合处理,生成所述音乐特征。
在其中一个实施例中,当所述文本特征的种类为多种时,多种所述文本特征包括歌词文本特征和歌名文本特征;
所述第一文本特征为所述歌词文本特征,所述剩余的文本特征为所述歌名文本特征。
在其中一个实施例中,所述音乐关联信息包括音频信息和至少一种文本信息;
所述从待处理音乐的音乐关联信息中提取得到对应的音乐关联特征,包括:
从所述音频信息中提取得到梅尔频谱特征,对所述梅尔频谱特征进行卷积处理,得到所述音频隐层特征;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111415454.1/2.html,转载请声明来源钻瓜专利网。