[发明专利]基于表情识别的情绪聊天机器人

说明书

本发明提供一种基于表情识别的情绪聊天机器人。所述基于表情识别的情绪聊天机器人，包括：卧床病人心理陪护系统；所述卧床病人心理陪护系统分别包括情绪识别模块、语音对话模块和人机交互模块；所述情绪识别模块、语音对话模块和人机交互模块均包括信号路由模块；所述情绪识别模块还包括卷积神经网络迁移学习模块、特征点提取模块和SVM分类模块；所述语音对话模块还包括语音识别模块、自然语言理解模块和耦合匹配模块。本发明提供的基于表情识别的情绪聊天机器人具有模拟人类聊天的场景，设计了控制播放情绪化动画的系统，最大限度的接近真人聊天效果，满足游戏场景真实性、趣味性及交互性，为用户带去心灵的关怀，体现其强大的现实价值。

技术领域

本发明涉及基于表情识别的情绪聊天机器人领域，尤其涉及一种基于表情识别的情绪聊天机器人。

背景技术

身边充斥着各式各样的聊天机器人和语音分析应用，其中许多应用程序旨在改善的心理感受。针对那些患有焦虑症、抑郁症、双相情感障碍、PTSD(创伤后应激障碍)或者仅仅是压力过大的用户。在国外有Woebot,tess之类的聊天辅助产品，但这类只是辅助的聊天收集者，且仅基于文本形式，若患者无心打字，将失去效果。在国内有济南凌沃信息科技有限公司发明的心理康复辅助机器人系统，通过拥抱力度不一定能准确反映当前情绪，交互性差，可治疗效果低；目前部分系统中过于强调分析表情，忽视待康复者说话内容，导致体验感不佳。并且表情分析与语调分析有时发生冲突，达到不匹配效果。

因此，有必要提供一种基于表情识别的情绪聊天机器人解决上述技术问题。

发明内容

本发明提供一种基于表情识别的情绪聊天机器人，解决了基于表情识别的情绪聊天机器人基于表情识别的情绪聊天机器人表情分析与语调分析无法匹配的问题。

为解决上述技术问题，本发明提供的基于表情识别的情绪聊天机器人，包括：卧床病人心理陪护系统；所述卧床病人心理陪护系统分别包括情绪识别模块、语音对话模块和人机交互模块；

所述情绪识别模块、语音对话模块和人机交互模块均包括信号路由模块；

所述情绪识别模块还包括卷积神经网络迁移学习模块、特征点提取模块和 SVM分类模块；

所述语音对话模块还包括语音识别模块、自然语言理解模块和耦合匹配模块；

所述人机交互模块还包括Key帧动画模块和脚本时序控制模块；

当所述基于表情识别的情绪聊天机器人处于训练模式时；由图像输入、人脸识别、图像预处理、特征提取Gabor.SIF、模式回归以及识别成果依次连接；

当所述基于表情识别的情绪聊天机器人处于测试模式时；由实时视频流、特征提取、模式回归以及识别成果依次连接。

优选的，所述情绪识别模块分为语音识别子模块、NLP聊天机器人子模块和语音合成子模块。

优选的，所述图像输入来源为视频以及表情数据集Fer2013。

优选的，所述人脸检测采用人脸检测算法检测出人脸区域。

优选的，所述情绪识别模块采用流式录音协议实现，流式录音协议为双线程录音模式。

优选的，所述语音对话模块中的语音输出模块根据耦合意图匹配结果进行语音合成，同时Unity3D动画接收语音信号或表情识别信号做出相应表情。

优选的，所述基于表情识别的情绪聊天机器人平台架构为Web服务器使用Node.js快速搭建，简单前端使用React.js前端框架，数据库使用MongoDb，配合使用Redux搭建可用后端，完成服务器配置。

与相关技术相比较，本发明提供的基于表情识别的情绪聊天机器人具有如下有益效果：