[发明专利]音频数据聚类方法、装置、设备及存储介质在审
申请号: | 202111594903.3 | 申请日: | 2021-12-23 |
公开(公告)号: | CN114218428A | 公开(公告)日: | 2022-03-22 |
发明(设计)人: | 郑斯奇;索宏彬 | 申请(专利权)人: | 阿里巴巴达摩院(杭州)科技有限公司 |
主分类号: | G06F16/65 | 分类号: | G06F16/65;G06F16/683;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰;兰淑铎 |
地址: | 310023 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 数据 方法 装置 设备 存储 介质 | ||
1.一种音频数据聚类方法,包括:
获取待处理的多个音频片段;
对各音频片段进行特征提取,得到对应的声纹特征;
将各音频片段对应的声纹特征输入图神经网络,得到各音频片段的特征向量表示;
基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果。
2.根据权利要求1所述的方法,其中,所述获取待处理的多个音频片段,包括:
获取会议音频数据;
对所述会议音频数据进行数据分割,得到多个音频片段;其中,一个音频片段对应一个参会对象。
3.根据权利要求1所述的方法,其中,所述对各音频片段进行特征提取,得到对应的声纹特征,包括:
将各音频片段分别输入声纹提取网络,得到各音频片段对应的声纹特征。
4.根据权利要求1所述的方法,其中,所述图神经网络的训练过程包括:
获取初始图神经网络;
获取训练样本图;所述训练样本图是基于各样本音频片段对应的声纹特征,以及各样本音频片段之间的类别关系构建的;
基于所述训练样本图,对所述初始图神经网络进行训练,得到训练完成的图神经网络。
5.根据权利要求4所述的方法,其中,所述训练样本图的构建过程包括:
获取各样本音频片段对应的声纹特征,得到节点集合;
基于各样本音频片段之间的类别关系,确定边集合;其中,当两个样本音频片段之间属于同一类别时,确定该两个样本音频片段对应的节点之间存在连接边;
基于所述节点集合和所述边集合,构建训练样本图。
6.根据权利要求1所述的方法,其中,所述基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果,包括:
基于各音频片段的特征向量之间的相似度对各音频片段进行聚类,得到聚类结果。
7.一种音频数据聚类方法,包括:
接收针对会议音频数据的说话人聚类指令;
根据所述说话人聚类指令,对所述会议音频数据进行数据分割,得到多个音频片段;
对各音频片段进行特征提取,得到对应的声纹特征;
将各音频片段对应的声纹特征输入图神经网络,得到各音频片段的特征向量表示;
基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果。
8.一种音频数据聚类方法,包括:
通过音频聚类模型的声纹提取网络,获取待处理的多个音频片段分别对应的声纹特征;
通过音频聚类模型的图神经网络,基于各音频片段分别对应的声纹特征,得到各音频片段的特征向量表示;
通过所述音频聚类模型的聚类模块,基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果。
9.一种音频数据聚类装置,包括:
音频片段获取模块,用于获取待处理的多个音频片段;
第一声纹特征得到模块,用于对各音频片段进行特征提取,得到对应的声纹特征;
第一特征向量表示得到模块,用于将各音频片段对应的声纹特征输入图神经网络,得到各音频片段的特征向量表示;
第一聚类模块,用于基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果。
10.一种音频数据聚类装置,包括:
指令接收模块,用于接收针对会议音频数据的说话人聚类指令;
音频片段得到模块,用于根据所述说话人聚类指令,对所述会议音频数据进行数据分割,得到多个音频片段;
第二声纹特征得到模块,用于对各音频片段进行特征提取,得到对应的声纹特征;
第二特征向量表示得到模块,用于将各音频片段对应的声纹特征输入图神经网络,得到各音频片段的特征向量表示;
第二聚类模块,用于基于各音频片段的特征向量表示对各音频片段进行聚类,得到聚类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院(杭州)科技有限公司,未经阿里巴巴达摩院(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111594903.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置