[发明专利]应用于说话人分离的转折点检测方法、装置以及设备在审
申请号: | 202011581942.5 | 申请日: | 2020-12-28 |
公开(公告)号: | CN112735384A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 王泽玉;高天;万根顺;高建清;刘聪;王智国;胡国平 | 申请(专利权)人: | 科大讯飞股份有限公司 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/05;G10L15/16;G10L17/02;G10L17/18;G10L17/22;G10L25/30;G10L25/51 |
代理公司: | 北京维澳专利代理有限公司 11252 | 代理人: | 常小溪;王立民 |
地址: | 230088 安徽省*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应用于 说话 分离 转折点 检测 方法 装置 以及 设备 | ||
1.一种应用于说话人分离的转折点检测方法,其特征在于,包括:
获取说话人的音频数据以及相应的转写文本;
根据所述音频数据和/或转写文本,得到辅助检测信息;
结合所述转写文本、所述音频数据、所述辅助检测信息以及预设的转折点检测策略,确定出所述转写文本中转折点的位置。
2.根据权利要求1所述的应用于说话人分离的转折点检测方法,其特征在于,所述得到辅助检测信息包括:
利用所述转写文本以及预设的标点检测策略,得到对应于所述转写文本的标点信息。
3.根据权利要求2所述的应用于说话人分离的转折点检测方法,其特征在于,所述利用所述转写文本以及预设的标点检测策略,得到对应于所述转写文本的标点信息包括:
将所述转写文本分词后输入至采用特定网络结构的标点检测模型;
将对应于各分词的所述标点检测模型的输出向量及其相应的中间状态向量进行融合,得到所述标点信息。
4.根据权利要求2所述的应用于说话人分离的转折点检测方法,其特征在于,所述结合所述转写文本、所述音频数据以及所述辅助检测信息包括:
将所述转写文本与所述音频数据对齐,并从所述音频数据中提取到对应文本的声学特征;
根据所述声学特征以及预训练的声纹检测策略获取相应的声纹信息;
提取所述转写文本的文本信息;
将所述文本信息、所述声纹信息以及所述标点信息作为所述转折点检测策略的输入变量。
5.根据权利要求1~4任一项所述的应用于说话人分离的转折点检测方法,其特征在于,所述方法还包括:
根据人工经验或所述辅助检测信息的获取过程,预设所述辅助检测信息的信任度;
基于所述信任度确定输入至所述转折点检测策略的所述转写文本、所述音频数据以及所述辅助检测信息的权重。
6.根据权利要求1~4任一项所述的应用于说话人分离的转折点检测方法,其特征在于,所述转折点检测策略采用基于长短期记忆神经网络架构的转折点检测网络;
所述方法还包括:
将所述音频数据的信息作为所述长短期记忆神经网络的原始输入门,将所述转写文本的信息和所述辅助检测信息作为所述长短期记忆神经网络的两个辅助控制门;或者,
将所述音频数据与所述转写文本的信息结合,作为所述长短期记忆神经网络的原始输入门,将所述辅助检测信息作为所述长短期记忆神经网络的辅助控制门。
7.一种应用于说话人分离的转折点检测装置,其特征在于,包括:
音频及文本获取模块,用于获取说话人的音频数据以及相应的转写文本;
辅助检测信息获取模块,用于根据所述音频数据和/或转写文本,得到辅助检测信息;
转折点检测模块,用于结合所述转写文本、所述音频数据、所述辅助检测信息以及预设的转折点检测策略,确定出所述转写文本中转折点的位置。
8.根据权利要求7所述的应用于说话人分离的转折点检测装置,其特征在于,所述辅助检测信息获取模块包括标点信息检测单元;
所述标点信息检测单元,用于利用所述转写文本以及预设的标点检测策略,得到对应于所述转写文本的标点信息。
9.根据权利要求7或8所述的应用于说话人分离的转折点检测装置,其特征在于,所述装置还包括:输入变量权重确定模块,所述输入变量权重确定模块具体包括:
信任度预设单元,用于根据人工经验或所述辅助检测信息的获取过程,预设所述辅助检测信息的信任度;
权重确定单元,用于基于所述信任度确定输入至所述转折点检测策略的所述转写文本、所述音频数据以及所述辅助检测信息的权重。
10.一种应用于说话人分离的转折点检测设备,其特征在于,包括:
一个或多个处理器、存储器以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行权利要求1~6任一项所述的应用于说话人分离的转折点检测方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司,未经科大讯飞股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011581942.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种利用蝇沙种植植物的方法
- 下一篇:用于制备梯度复合材料铸件的装置及方法