[发明专利]基于多模态情绪识别系统的时序语义融合关联判断子系统

权利要求书

1.一种基于多模态情绪识别系统的时序语义融合关联判断子系统，它包括数据采集设备、输出设备，其特征在于：它还包括情绪分析软件系统，所述情绪分析软件系统通过对所述数据采集设备得到的数据进行综合分析推理，最终把结果输出至所述输出设备上；所述情绪分析软件系统包括基于时序的语义融合关联判断子系统；

所述基于时序的语义融合关联判断子系统，每个RNN递归神经网络把每个单模态情绪理解的中间神经网络表示形式按时间序列组织起来，其中每个时间点上的一个神经网络单元都来自单模态子系统的神经网络的中间层的对应时间点的输出；经过每个RNN递归神经网络的单一时间点的神经网络后的输出被输送到多模态融合关联判断RNN递归神经网络，多模态RNN递归神经网络的每个时间点汇集了每个单模态的RNN递归神经网络的当前时间点上的神经网络输出，在综合了多模态后，每个时间点的输出即是最终该时间点的情绪判断结果；

以时序为基准将单模态下的情绪语义在时序对齐后进行训练，从而实现时序上跨模态的自动关联对应以及最终融合的综合情绪识别、理解和推理判断。

2.根据权利要求1所述的基于多模态情绪识别系统的时序语义融合关联判断子系统，其特征在于：所述情绪分析软件系统还包括基于面部图像表情的情绪识别子系统、基于语音信号的情绪识别子系统、基于文本语义的情感分析子系统、基于人体姿态的情绪识别子系统、基于生理信号的情绪识别子系统和基于多轮对话语义理解子系统。

3.根据权利要求2所述的基于多模态情绪识别系统的时序语义融合关联判断子系统，其特征在于：所述基于面部图像表情的情绪识别子系统是在特定的情绪状态下人们会产生特定的表情模式，基于动态图像序列和表情图像的运动信息，基于区域的光流模型和基准光流算法从复杂背景和多姿态表情序列中有效地获得运动场信息；

所述基于文本语义的情感分析子系统，文本情绪分析可分为词语、句子、篇章三个级别，基于词语的方法是分析情绪特征词，根据阈值判断词语极性或者计算词汇语义的相似度；基于句子的方法是对每个句子采样情绪标签，抽取评价词语或者获取评价短语进行分析；基于篇章的方法是在句子情绪倾向分析的基础上进行篇章的整体情绪倾向性分析；

所述基于人体姿态的情绪识别子系统，提取身体各种情绪状态下的典型样例，对每个姿势进行判别分析出相近情绪的细微差别，建立特征库，根据人体动作的持续时间、频率运动性质作为评判依据，从中提取物理运动信息来进行识别；

所述基于文本语义的情感分析子系统，基于深度卷积神经网络CNN改进的一个情绪识别方法，子系统利用在目标领域内产生的词汇语义向量对问题领域内的文本进行情绪分类，它的输入是以矩阵表示的句子或者文档，矩阵的每一行对应于一个分词元素，每一行是表示一个单词的向量，这些向量都是word embeddings的形式，从上一模块获得，或者根据词在词表中的索引；

子系统的第二层是卷积神经网络层；

子系统的第三层是基于时间的聚会层，从前一个卷积层提取出的特征信息当中，找出它们在时间轴上的关联关系，将前一层中的每个特征矩阵中的时间维度上的相应变化总结归纳，从而形成更加浓缩的特征信息；

子系统的第四层是最后的全连接预测层，首先是将前一层得到的浓缩的特征信息，进行全排列和组合并搜索所有可能的相应权重组合，从而发现它们之间的共同作用的方式；下一个内部层是Dropout层，指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点暂时认为不是网络结构的一部分，但是它的权重得保留下来，因为下次样本输入时它可能又得工作了，再下一个内部层是tanh，这是一个非线性的逻辑转化，最后一个内部层是softmax，它是多分类中常用的激活函数，是基于逻辑回归的，它将每个需要预测的可能类别的概率进行锐化，从而使得预测的类别脱颖而出；

所述基于人体姿态的情绪识别子系统，基于动作识别的情绪提取是指根据数据输入源，首先进行运动数据的表征和建模，再进行情绪的建模，得到关于动作和情绪的两套表征数据；之后运用现有的基于运动数据的动作识别方法，将其连续的动作准确地识别出来，得到该数据的动作信息；再将之前获得的情绪模型与情绪数据库进行匹配对应，过程中加以动作信息的辅助，最终提取出输入数据的情绪；具体为：

人体建模

首先是对于人体的关节点进行建模，把人体看作是一个有着内在联系的刚性系统，它包含骨骼以及关节点，骨骼和关节点的相对运动构成了人体姿态的变化，即平时所说的描述动作，在人体众多关节点中，根据对情绪影响的轻重，忽略手指与脚趾，将人体的脊柱抽象为颈、胸和腹部三个关节，总结出一个人体模型，其中上半身包括头、颈、胸部、腹部、两个大臂和两个小臂，而下半身包括两个大腿、两个小腿；

情绪状态提取

对于选择的多种情绪状态，分别选取了人体正常情况下进行每种情绪状态的表达，并对肢体反应进行详细分析；由于人体被抽象成为了刚体模型，首先是人体重心的移动，分为向前、向后和自然态；除了重心的移动之外，其次是关节点的转动，人体发生动作变化，并且和情绪相关的关节点包括头、胸腔、肩膀和肘部，对应的动作为头部的弯曲、胸腔的转动、上臂的摆动和伸展方向，以及肘部的弯曲，这些参数结合上重心的移动，总共包括了七个自由度的移动，表达出一个人上半身的动作。