[发明专利]一种基于语音情感分析和微表情识别的演讲辅助系统有效

专利信息
申请号: 201911047454.3 申请日: 2019-10-30
公开(公告)号: CN110991238B 公开(公告)日: 2023-04-28
发明(设计)人: 逯伟;辛淼;冷聪 申请(专利权)人: 中科南京人工智能创新研究院;中国科学院自动化研究所
主分类号: G06V40/16 分类号: G06V40/16;G10L17/26
代理公司: 南京泰普专利代理事务所(普通合伙) 32360 代理人: 窦贤宇
地址: 211000 江苏省南京市创*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 语音 情感 分析 表情 识别 演讲 辅助 系统
【说明书】:

发明公开了一种基于语音情感分析和微表情识别的演讲辅助系统,包括语音情感分析模块、语音数据收集模块、微表情识别模块、微表情分析模块和语音情感修正模块;所述语音情感分析模块可以在所述语音数据收集模块收集到演讲者演讲时的声音信息后,与非演讲状态下的语音对比进行语音情感分析;所述微表情识别模块可以实时获取观众的微表情,进一步在所述微表情分析模块的帮助下进行情绪分类;所述语音情感修正模块可以帮助演讲者实时进行演讲情绪调动,进一步加强演讲的成熟度。本发明实现了同时检测演讲者语音情感变化和观众微表情变化的功能,并且进一步给予实时情绪修正反馈,有助于优化演讲者的演讲过程。

技术领域

本发明涉及一种语音处理和表情处理技术,尤其是一种基于语音情感分析和微表情识别的演讲辅助系统。

背景技术

情感分析技术是人机交互技术的一个非常重要的组成部分,而语音作为人类表达情感极其关键的通道,其中包含了很多关键的情感信息。语音情感分析的最终目的就是让机器能够通过语音来识别人类的情感,从而做出更加合理的决策,这项研究在未来有着极其广泛的应用场景。

微表情属于心理学的专业名词,它可以将表演者内心的真情实感通过自己的微表情展现给其他人,是赋予人们交流与思维的一种工具。戏剧表演艺术是人们通过内心的情感和小表情以及演奏等各种形式表演出来的一门生活艺术,微表情在戏剧表演艺术中的作用越来越重要,是把握表演效果的直接方法。与此同时,微表情也是判断一个人真实情感的最有利的线索。经过几十年的理论发展和试验验证,微表情逐渐被学术界接受和认可,美国已经在这方面进行了几十年的研究工作,已被美国交通运输安全部用于多个机场的安检中。此外,在美国司法审讯、临床医学等领域也进行了应用测试。

对于需要演讲的人来说,想要提高自己的演讲趣味性,可以通过各种方法来改善自己演讲的吸引力,这就需要对自己的语音情感进行高效率的调控,也需要对观众的微表情进行分析,从而做好演讲节奏的最佳调整。

本发明通过对演讲者的语音进行情感分析,将演讲者的演讲状态进行可视化呈现,为演讲者调整状态提供直接有效的参考;同时,通过对观众在听讲过程中的微表情状态进行分析,可以将观众的关注度进行数据整合,为演讲者的状态调整给出优化方向。

发明内容

发明目的:提供一种基于语音情感分析和微表情识别的演讲辅助系统,以解决上述问题。

技术方案:一种基于语音情感分析和微表情识别的演讲辅助系统,包括语音情感分析模块、语音数据收集模块、微表情识别模块、微表情分析模块和语音情感修正模块,可以同时检测演讲者语音情感变化和观众微表情变化的功能,并且进一步给予实时情绪修正反馈,优化演讲者的演讲过程;

语音数据收集模块,收集演讲者在演讲时的声音数据;

语音情感分析模块,可以在所述语音数据收集模块收集到演讲者演讲时的声音信息后,与演讲者非演讲状态下的语音数据进行声音波形、声音强度等方面的对比,从而进行语音情感分析;

微表情识别模块,通过拍摄观众在聆听演讲时的面部照片,截取采样面部表情的几个区域,从而实时获取观众的微表情变化;

微表情分析模块,获取到观众的微表情信息之后,对观众的情绪进行类别划分;

语音情感修正模块,可以帮助演讲者实时进行演讲情绪调动,进一步加强演讲的成熟度;

所述语音数据收集模块,通过与演讲者使用的扩音装置直接进行连接,可以获取外在干扰较少的实时演讲语音信息,通过使用基础的中值滤波和切比雪夫滤波,对声音信号进行基础的模电转换,为后续进一步进行声音对比处理提供数据。

根据本发明的一个方面,所述语音数据情感模块对声音信号进行分析,通过事前录制演讲者在干扰较小的环境中的语音作为无干扰的参照组,与演讲时获取到的演讲声音进行比对分析,具体步骤为:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科南京人工智能创新研究院;中国科学院自动化研究所,未经中科南京人工智能创新研究院;中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911047454.3/2.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top