[发明专利]用于心理压力检测的多模态融合方法及装置

说明书

本发明实施例提供一种用于心理压力检测的多模态融合方法及装置，本发明基于生理数据‑文本、生理数据‑图片、文本‑生理数据、文本‑图片、图片‑生理数据、图片‑文本的注意力强化特征矩阵，基于前馈全连接神经网络，获取文本、图片和生理数据的融合特征矩阵；接着基于文本、图片、生理数据的重要性权重值以及文本、图片和生理数据的融合特征矩阵，获取三种模态的融合表示矩阵；最后基于述三种模态的融合表示矩阵以及前馈全连接网络获取反映心理压力问题的压力分类向量。本发明通过融合文本图片数据与生理相关数据，不仅弥补了由文本和图片数据的主观性带来的不足，解决了生理相关数据的一些固有问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于心理压力检测的多模态融合方法及装置。

背景技术

随着社会竞争压力的增大，青少年的心理压力问题逐渐成为一个越发严重的问题。过度的心理压力会导致很多生理和心理上的问题，这使得心理压力检测越来越重要。

已有的聚焦于社交媒体上的心理压力检测工作只关注于文本和图片内容，然而文本和图片内容具有主观性，有时候无法表达出真实心理状态。

已有的一些生理信号相关的工作证明了生理信号在检测心理压力时的有效性，比如心率变异性、心电图、电流皮肤反应，脑电图，血压和肌电图等。但是生理信号相关数据也存在一些固有的问题，比如在极度兴奋状态和极度压力状态的生理相关数据是非常相似的，因此，根据生理信号相关数据有时也无法完全表达出真实心理状态。

根据上面描述可知，目前缺乏一种有效的心理压力检测方法和装置。

发明内容

针对现有技术中的问题，本发明实施例提供一种用于心理压力检测的多模态融合方法及装置。

第一方面，本发明实施例提供了一种对两种模态数据进行特征交互融合的注意力权重对应方法，包括：

基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；

基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；

基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵。

第二方面，本发明实施例提供了一种基于如第一方面所述的对两种模态数据进行特征交互融合的注意力权重对应方法的用于心理压力检测的多模态融合方法，包括：

分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；

基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；