[发明专利]一种基于对抗语义擦除的语音情感识别方法有效

专利信息
申请号: 201911317659.9 申请日: 2019-12-19
公开(公告)号: CN111128240B 公开(公告)日: 2022-05-17
发明(设计)人: 王曰海;邓梦霞 申请(专利权)人: 浙江大学
主分类号: G10L25/63 分类号: G10L25/63;G10L15/02;G10L15/06
代理公司: 杭州天勤知识产权代理有限公司 33224 代理人: 曹兆霞
地址: 310013 浙江*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 对抗 语义 擦除 语音 情感 识别 方法
【说明书】:

发明公开了一种基于对抗语义擦除的语音情感识别方法,包括:(1)获取原始语音数据,并对原始语音数据进行预处理获得输入特征;(2)利用包含第一特征提取器和第一识别器的语音识别模型对输入特征进行识别,获得识别语义,同时提取特征提取器输出的语义特征;(3)利用包含第二特征提取器和第二识别器的语音情感识别模型的第二特征提取器对输入特征进行提取获得语音特征,从语音特征中擦除所述语义特征获得情感特征,利用第二识别器识别对输入的情感特征进行识别,输出语音情感类别。该方法能够快速准确地基于输入的语音数据识别语音情感类别。

技术领域

本发明涉及一种离散语音情感识别领域,尤其涉及一种基于对抗语义擦除的语音情感识别方法。

背景技术

语音是人交流沟通的主要方式,也是最自然、最主流的人机交互方式之一。然而在语音交互过程中,系统大多只是学习了语音的内容,却往往忽略语音中所蕴含的情感信息,导致使用者感觉到死板和挫败,而语音情感识别则是改善用户体验感的一种新型交互技术。

语音情感识别是指通过语音中蕴含的情感信息,判断说话人此时的情感状态。在日常生活和交流中,人可以通过情绪感知来判断对方的状态和喜好,因此用户也期待计算机能感知和判断他的情绪和喜好,并做出自然的回应,让使用者得到更好的人机交互体验。随着移动通信技术和互联网技术的发展,语音情感识别在远程教育、电子游戏、智能玩具、陪伴机器人等多方面有着重要的应用价值。

现有语义情感识别研究大多在以下两个方面进行优化:一是提取更具表征力的语音情感特征,包括谱相关特征、韵律特征、声音质量特征、神经网络瓶颈输出等自制特征以及上述特征的融合特征等。二是选择更具识别能力的识别器,包括传统的机器学习分类器和深度学习分类器。

然而不同于语义信息,语音中的情感信息作为一个高维度特征,具有很强的不确定性和主观性,人工很难制定的有效的语音特征提取策略。同时在小数据量限制的情况下,基于统计学意义的深度学习方法也很容易受到不同语义差异间的干扰,导致现有方法识别结果准确率较低,跨数据集识别效果差。因此如何在语音情感识别中去除语义信息的干扰,提高识别准确率和跨数据集表现力,成为了本领域内技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种基于对抗语义擦除的语音情感识别方法,该方法能够快速准确地基于输入的语音数据识别语音情感类别。

为实现上述发明目的,本发明提供的技术方案为:

一种基于对抗语义擦除的语音情感识别方法,包括以下步骤:

(1)获取原始语音数据,并对原始语音数据进行预处理获得输入特征;

(2)利用包含第一特征提取器和第一识别器的语音识别模型对输入特征进行识别,获得识别语义,同时提取特征提取器输出的语义特征;

(3)利用包含第二特征提取器和第二识别器的语音情感识别模型的第二特征提取器对输入特征进行提取获得语音特征,从语音特征中擦除所述语义特征获得情感特征,利用第二识别器识别对输入的情感特征进行识别,输出语音情感类别;

所述语音识别模型和所述语音情感识别模型的网络结构相同,经过对抗训练确定网络参数,从所述语音识别模型中输入层起提取任意个网络层组成第一特征提取器,剩下网络层组成第一识别器;从所述语音情感识别模型中输入层起提取与第一特征提取器相同个数的网络层组成第二特征提取器,剩下网络层组成第二识别器。

与现有技术相比,本发明具有的有益效果为:

(1)本发明通过基于语音识别任务和语音情感识别任务之间学习到的语音特征的对抗性,在语音情感识别中去除了语义内容的干扰,提高了语音情感识别的准确率以及模型跨数据集跨语种的表现能力。

(2)本发明在小数据量的限制下,利用大数据量的语音识别任务进行辅助,提取了更纯正的语音情感特征,克服了语音情感数据量少的困难。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911317659.9/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code