[发明专利]用于心理压力检测的多模态融合方法及装置

权利要求书

1.一种基于对两种模态数据进行特征交互融合的注意力权重对应方法的用于心理压力检测的多模态融合方法，其特征在于，

所述对两种模态数据进行特征交互融合的注意力权重对应方法，包括：

基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵；

基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵；

基于所述影响力权重矩阵和所述两种模态数据的特征矩阵，利用矩阵点乘和残差连接，获取包含所述两种模态数据的特征矩阵相互影响权重的注意力强化特征矩阵；

相应地，所述用于心理压力检测的多模态融合方法，包括：

分别获取反映用户生理状态的生理数据相关特征矩阵以及反映用户心理活动状态的文本特征矩阵和图片特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，利用所述注意力权重对应方法，获取包含所述生理数据相关特征矩阵对所述文本特征矩阵相互影响权重的第一注意力强化特征矩阵、包含所述生理数据相关特征矩阵对所述图片特征矩阵相互影响权重的第二注意力强化特征矩阵、包含所述文本特征矩阵对所述生理数据相关特征矩阵相互影响权重的第三注意力强化特征矩阵、包含所述文本特征矩阵对所述图片特征矩阵相互影响权重的第四注意力强化特征矩阵、包含所述图片特征矩阵对所述生理数据相关特征矩阵相互影响权重的第五注意力强化特征矩阵和包含所述图片特征矩阵对所述文本特征矩阵相互影响权重的第六注意力强化特征矩阵；

基于所述第一注意力强化特征矩阵、所述第二注意力强化特征矩阵、所述第三注意力强化特征矩阵、所述第四注意力强化特征矩阵、所述第五注意力强化特征矩阵和所述第六注意力强化特征矩阵，基于前馈全连接神经网络，获取文本融合特征矩阵、图片融合特征矩阵和生理数据融合特征矩阵；

基于所述生理数据相关特征矩阵、所述文本特征矩阵和所述图片特征矩阵，基于前馈全连接神经网络，得到文本、图片、生理数据特征值；

基于所述文本、图片、生理数据特征值，基于向量拼接和注意力机制，获取文本、图片、生理数据的重要性权重值；

基于所述文本、图片、生理数据的重要性权重值以及所述文本融合特征矩阵、所述图片融合特征矩阵和所述生理数据融合特征矩阵，获取三种模态的融合表示矩阵；

基于所述三种模态的融合表示矩阵以及前馈全连接网络，获取反映心理压力问题的压力分类向量。

2.根据权利要求1所述的用于心理压力检测的多模态融合方法，其特征在于，所述基于两种模态数据的特征矩阵，利用矩阵乘法，获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵，具体包括：

利用下面第一关系模型获取反映两种模态数据不同特征之间信息关联度的关联关系矩阵：

其中，表示关联关系矩阵，A表示其中一种模态数据的特征矩阵，B表示另一种模态数据的特征矩阵，表示实数空间，k表示该两种模态数据的维度，B^T表示B的转秩矩阵，使用矩阵乘法将特征矩阵A与特征矩阵B的转秩矩阵相乘，得到包含特征矩阵A中每一个特征和特征矩阵B中每一个特征之间的关联关系矩阵

3.根据权利要求2所述的用于心理压力检测的多模态融合方法，其特征在于，所述基于所述关联关系矩阵和前馈全连接网络模型，获取其中一种模态数据的特征矩阵对另一种模态数据的特征矩阵的影响力权重矩阵，具体包括：

利用下面第二关系模型获取特征矩阵B对特征矩阵A的影响力权重矩阵：

以及利用下面第三关系模型获取特征矩阵A对特征矩阵B的影响力权重矩阵：

其中，A_B→A表示特征矩阵B对特征矩阵A的影响力权重矩阵，B_A→B表示特征矩阵A对特征矩阵B的影响力权重矩阵，softmax表示归一化指数函数，W₁表示第一类训练参数中的第一预设训练参数，W₂表示第一类训练参数中的第二预设训练参数，通过一个一层全连接网络，将关联关系矩阵映射回的向量空间，得到特征矩阵B对特征矩阵A的影响力权重矩阵A_B→A和特征矩阵A对特征矩阵B的影响力权重矩阵B_A→B。