[发明专利]一种基于深度典型相关性分析的多模态情感识别方法

说明书

本发明涉及一种或基于深度典型相关性分析的多模态情感识别方法，针对多模态情感识别方法需要同时提取单模态特征和跨模态特征的特点，通过循环神经网络和典型相关性分析相结合，设计了新的模型、损失函数和网络结构，同时对单模态特征和跨模态特征进行提取、融合和分析，最后在分类阶段采用K聚类方法，提升识别效率和精度。

技术领域

本发明属于用户情感倾向分析技术领域，特别涉及一种基于深度典型相关性分析的多模态情感识别方法。

背景技术

用户多模态情感倾向分析是近年来十分热门的一个研究领域，具有广泛的发展潜力和应用前景，例如：自动驾驶系统司机疲劳驾驶监测，机场对于人群中危险分子安全保障监控，医疗领域的自闭症陪护和监测，智能家居领域中独居老人小孩的陪护、报警和监测等。现有多模态情感分析技术中，用于分析的模态根据不同的研究方向而多种多样，其中主要有以下四种：视觉信号，声音信号，文字信息和脑电信号。其中，脑电信号具有相对最高的准确率，但必须配套相应的专用信号采集传感器设备，因此在日常生活领域难以方便地大范围普及。因此，视觉、声音和文字是最常见的多模态用户情感分析研究的输入模态。使用这三种模态的现有相关技术中，对于这三种模态的特征提取方法主要分为两种，一种为单模态内部有效特征提取，即各个模态信息分别提取，不考虑模态信息之间的相关性；另一种将三模态信息作为一个整体，按一定顺序分析单个特征对整体信息的有效性，即一次只计算有一类特征对于情感识别的有效性。前一种技术在单模态信息下具有很好的识别率，但在多模态信息混合后并不能保持这样的准确度，后一种方法虽然将多模态信息作为一个整体进行分析，但每次只计算一种特征有效性的做法显然计算速度慢且忽略了特征之间的相关性。

循环神经网络是近年来人工智能机器学习领域中非常热门的研究方向，非常适合于处理具有顺序特征的高维复杂信号，例如具有时序标的的声音信号、文字信号等，具有计算速度较快，收敛效果好和设计简洁等优点，因此在多模态情感分析领域得到了广泛的应用。典型相关分析具有非常广泛的用途，在实际分析问题中，当面临两组多变量数据，并希望研究两组变量之间的关系时，就要用到典型相关分析。典型相关性分析是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。通过典型相关分析和深度循环神经网络的结合，就可以在提取与情感有关的特征时，更多地关注到模态之间的相互关系，从而提取到更多的跨模态特征。

林敏鸿,蒙祖强(《基于注意力神经网络的多模态情感分析》.计算机科学,2020,47(S2):508-514+548.)为了解决多模态情感分类任务中的信息冗余的问题, 提出了一种基于注意力神经网络的多模态情感分析方法。该方法构造了基于注意力神经网络的文本特征提取模型和图像特征提取模型,突出了图像情感信息关键区域和包含情感信息的单词,将各模态的张量积作为多模态数据的联合特征表达,采用主成分分析法剔除联合特征的冗余信息,进而使用支持向量机获取多模态数据的情感类别。该算法在公共数据集上取得了很好识别准确率，并大大提升了训练速度。但该多模态情感识别方法在多模态特征提取上侧重单模态内部的有效特征提取，忽略了跨模态特征的相互关系。

发明内容

本发明解决的技术问题是：现有的多模态情感识别方法在选取与情感有关的特征时，大多侧重于单模态内部的有效特征选择，忽略了跨模态特征的选择，不符合多模态情感识别问题的需要和实际应用情况。本发明针对多模态情感识别方法需要同时提取单模态特征和跨模态特征的特点，通过循环神经网络和典型相关性分析相结合，设计了新的模型、损失函数和网络结构，同时对单模态特征和跨模态特征进行提取、融合和分析，最后在分类阶段采用K聚类方法，提升识别效率和精度。

本发明的技术方案是：一种基于深度典型相关性分析的多模态情感识别方法，包括以下步骤：

步骤1：构建基于循环神经网络的算法模型并对该模型进行训练，包括以下子步骤：

步骤1.1：建立循环神经网络的算法模型，且该模型的输入信息为：

M＝[V,T,A]