[发明专利]一种面向开放环境的多模态情感识别方法及装置

说明书

本发明实施例提供一种面向开放环境的多模态情感识别方法及装置，其中，所述方法包括，获取目标对象的人脸表情序列；基于所述人脸表情序列得到第一置信结果；获取目标对象的语谱图序列，基于所述语谱图序列得到第二置信结果；获取目标对象的姿态序列，基于所述姿态序列得到第三置信结果；将第一置信结果、第二置信结果和第三置信结果进行融合，得到第四置信结果；基于所述第四置信结果识别出所述目标对象的情感。本发明提供的方法结合大脑在进行情感识别时主要有三个特性：时序性、变化性、多模态，并且结合单图像信息和序列关联信息进行情感判别，使得即使是在开放环境中，准确性和鲁棒性都有所增加。

技术领域

本发明属于人工智能领域，具体涉及一种面向开放环境的多模态情感识别方法及装置。

背景技术

随着智能机器和人工智能的发展，计算机情感分析已越来越重要，其研究目的是让机器感知人类的情感状态。情感信息交流的感知手段在教学认知状态分析、患者情绪状态分析、公共区域危险预警、盲人视觉感知等领域有广泛应用潜力。因此，作为智能交互、情感计算的关键技术，近年来情感识别成为人工智能研究重点。

目前国内外对情感识别的研究已经取得了很大的进展，但很多的工作都是集中在实验室理想环境下单模态静态识别算法,如分别通过语音、姿态、表情单模态识别情感，将这些方法与技术应用于各类复杂的自然场景时仍然面临诸多问题，如识别性能不尽如人意，识别结果鲁棒性得不到保证。

当前国内外研究者多从特征提取和分类器设计方面进行探索与研究，并提出基于全局特征、局部特征、梯度特征、模板特征等方法，2013年，Wang等人融合HOG(Histogram OfOriented Gradient，方向梯度直方图)特征和WLD(Weber’s Local Descriptor，韦伯局部描述)特征进行面部信息表示，最终在JAFFE和Cohn-Kanade表情库上分别取得70％、75％的识别精度；2013年，Kandemir等人采用Haar(Haar-like，哈尔，是一种组合特征，包括边缘特征、线性特征、中心特征和对角线特征)特征描述面部纹理信息，利用AdaBoost(AdaptiveBoosting，自适应提升算法)进行关键部位筛选，结合几何结构信息进行综合判断，在FEEDTUM表情库上几种表情分别取得60～70％的识别率；Gehrig等人提出了自然条件下的表情分析，利用Gabor特征(Gabor特征定义，主要依靠Gabor核对信号频域进行加窗，从而可以对信号的局部频率信息进行描述)和SVM(Support Vector Machine，支持向量机)分类器对EmotiW2013数据库进行识别，识别率达到29.81％；Mcduff等人利用互联网收集人脸表情视频和图像，构建自然条件下表情数据库，并进行了基于大数据样本的AU单元(ActionUnit，基本形变单元)分析。

但上述几种方案的缺点是：现有浅层特征提取模型虽然有效解决了图像维度灾难问题，但同时导致了有效鉴别特征信息的大量丢失，从而制约了识别精度，算法提升效果有限；应用于场景复杂时，人脸，姿态图像易受角度、姿态、光照、遮挡、多尺度等因素影响，引起算法识别结果波动很大，鲁棒性不高；现有的静态图像算法应用到自然场景中，缺乏对动态序列信息的有效利用，导致算法鲁棒性差；动态表情识别模型较少，且算法复杂，假设条件较多，应用效果有待改善。

目前多模态特征融合策略主要有特征层融合和决策层融合两种，2014年，SarkarC把情感声学特征和人脸表情特征信息提取出来，然后将这些特征串联成一个总的特征向量用于情感识别。2005年，Lee C M对语音和面部表情分别提取特征，并将其送入各自的分类器中，在决策层依据线性加权规则将各个分离器的结果进行融合决策。

但上述两种方案的缺点是：单模态特征信息量不足且容易受到外界各种因素的影响，常用多模态特征层融合算法,该融合方法利用不同模态相互之间的联系，但没有考虑到各情感特征的差异性，同时该融合策略很难表示不同模态之间的时间同步性；且随着融合模态的增多，会使得学习多种模态特征之间的相关性变得更加困难。常用多模态决策层基于规则的融合法(如线性加权融合、多数同意规则等)，易受到离群值的影响，造成情感识别鲁棒性差，识别率低等缺陷。