[发明专利]语音情感识别和标注的方法及装置有效
申请号: | 201811140940.5 | 申请日: | 2018-09-28 |
公开(公告)号: | CN109192225B | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 徐迎庆;胡佳雄;胡效竹;叶星宇;徐千尧;王楠 | 申请(专利权)人: | 清华大学 |
主分类号: | G10L25/63 | 分类号: | G10L25/63;G10L15/22 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;吴欢燕 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 情感 识别 标注 方法 装置 | ||
1.一种语音情感识别和标注的方法,其特征在于,包括:
对语音音频的识别文本进行文本情感识别,获得所述语音音频的文本情感信息;对所述语音音频的声学特征进行语音情感识别,获得所述语音音频的语音情感信息;
结合所述语音情感信息及所述文本情感信息后,匹配获得对应的表情符号,并采用所述表情符号对所述识别文本进行标注;
所述对语音音频的识别文本进行文本情感识别,获得所述语音音频的文本情感信息,包括:
对所述识别文本进行切分,获得多个短句,并计算获得每个所述短句在情感量化坐标系下的情感量化坐标;
对所述情感量化坐标进行线性扩展映射,获得文本坐标,所述文本坐标用于表示对应的所述短句的文本情感信息;
所述对所述语音音频的声学特征进行语音情感识别,获得所述语音音频的语音情感信息,包括:
对所述语音音频的声学特征进行情感分析,获得所述语音音频在所述情感量化坐标系下的情感向量值;
对所述情感向量值依次进行非线性函数过滤和线性扩展映射,获得语音情感偏移向量,所述语音情感偏移向量用于表示所述语音音频的所述语音情感信息;
所述结合所述语音情感信息及所述文本情感信息,匹配获得对应的表情符号,并采用所述表情符号对所述识别文本进行标注,包括:
对于每个所述短句,将所述短句的所述文本坐标与所述语音音频的所述语音情感偏移向量进行加权求和,获得所述短句对应的目标情感量化坐标;
匹配获得与所述目标情感量化坐标对应的所述表情符号,并采用所述表情符号对所述短句进行标注。
2.根据权利要求1所述的方法,其特征在于,所述计算获得每个所述短句在情感量化坐标系下的情感量化坐标,包括:
计算获得每个所述短句对应的置信度最高的所述表情符号;
将所述表情符号对应的情感量化坐标作为对应的所述短句的情感量化坐标。
3.根据权利要求1所述的方法,其特征在于,所述对所述语音音频的声学特征进行情感分析,获得所述语音音频在所述情感量化坐标下的情感向量值,包括:
对所述语音音频的声学特征进行情感分析,获得多维向量,其中,所述多维向量中的每个分量代表一种情感的权值;
将在所述情感量化坐标系中设定的每种所述情感的基向量组与所述多维向量进行矩阵乘运算,获得所述语音音频在所述情感量化坐标系下的情感向量值。
4.根据权利要求3所述的方法,其特征在于,所述多维向量为四维向量,所述情感包括愤怒、开心、平和以及沮丧。
5.一种语音情感识别和标注的装置,其特征在于,包括:
识别模块,用于对语音音频的识别文本进行文本情感识别,获得所述语音音频的文本情感信息;对所述语音音频的声学特征进行语音情感识别,获得所述语音音频的语音情感信息;
标注模块,用于结合所述语音情感信息及所述文本情感信息后,匹配获得对应的表情符号,并采用所述表情符号对所述识别文本进行标注;
所述对语音音频的识别文本进行文本情感识别,获得所述语音音频的文本情感信息,包括:
对所述识别文本进行切分,获得多个短句,并计算获得每个所述短句在情感量化坐标系下的情感量化坐标;
对所述情感量化坐标进行线性扩展映射,获得文本坐标,所述文本坐标用于表示对应的所述短句的文本情感信息;
所述对所述语音音频的声学特征进行语音情感识别,获得所述语音音频的语音情感信息,包括:
对所述语音音频的声学特征进行情感分析,获得所述语音音频在所述情感量化坐标系下的情感向量值;
对所述情感向量值依次进行非线性函数过滤和线性扩展映射,获得语音情感偏移向量,所述语音情感偏移向量用于表示所述语音音频的所述语音情感信息;
所述结合所述语音情感信息及所述文本情感信息,匹配获得对应的表情符号,并采用所述表情符号对所述识别文本进行标注,包括:
对于每个所述短句,将所述短句的所述文本坐标与所述语音音频的所述语音情感偏移向量进行加权求和,获得所述短句对应的目标情感量化坐标;
匹配获得与所述目标情感量化坐标对应的所述表情符号,并采用所述表情符号对所述短句进行标注。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811140940.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种语音评测方法、装置、设备及可读存储介质
- 下一篇:一种信号处理方法及装置