[发明专利]一种多模态融合谎言检测方法

权利要求书

1.一种多模态融合谎言检测方法，其特征在于，包括以下步骤：

步骤1、对于包括文本、视觉、音频的谎言行为的相关特征进行表达抽取与多模态融合，具体包括：

基于长短期记忆循环神经网络和前馈全连接神经网络，获取文本的谎言行为相关特征表达矩阵；

基于卷积神经网络和长短期记忆循环神经网络，获取视觉的谎言行为相关特征表达矩阵；

基于音频处理深度神经网络，获取音频的谎言行为相关特征表达矩阵；

基于所获取的文本、视觉、音频的谎言行为相关特征表达矩阵，获取多模态融合特征矩阵；

步骤2、基于图神经网络进行关联特征学习和谎言检测分类，具体包括：

基于步骤1所获取的多模态融合特征矩阵，获取全连通表示图，以每个用户的单个问题行为所对应的多模态融合特征矩阵作为节点；

基于所述全连通表示图和注意力机制，获取每个用户的单个问题行为所对应的表达矩阵；

基于所获取的每个用户的单个问题行为所对应的表达矩阵和前馈全连接神经网络，获取是否说谎的检测分类结果。

2.根据权利要求1所述的一种多模态融合谎言检测方法，其特征在于，步骤1中所述获取文本的谎言行为相关特征表达矩阵，具体包括：

将文本抽象为含有n个单词的句子，用w＝{w₁，w₂，…，w_n}表示，通过预训练模型Bert，将文本w中每个单词编码为768维的词向量，即

用长短期记忆循环神经网络LSTM来获取序列中的文本信息，具体为，将词向量特征矩阵X输入LSTM层中，所述LSTM层为双向LSTM，通过正向和反向两个LSTM分别为每个词向量x_i生成一个隐状态和将这两个隐状态向量相加，并将n个隐状态拼接起来作为文本表示矩阵H，表示为如式(1)所示：

其中，

基于注意力机制，获取文本表示矩阵H中每个位置的单词的重要性权重，并通过对位相乘，将权重赋予文本表示矩阵，即重要性权重分布矩阵Ast，如式(2)、式(3)所示：

A_st＝softmax(W₁H+b₁) (2)，

H′＝H×A_st+H (3)，

其中，表示重要性权重分布矩阵，和是可训练的参数向量，softmax是一种激活函数，

将H′从二维转变为一维向量,即

通过前馈全连接神经网络，得到文本特征表达矩阵F_T，如式(4)所示：

F_T＝ReLU(W₂H′+b₂) (4)，

其中和是可训练的参数向量，ReLU是一种激活函数，

3.根据权利要求2所述的一种多模态融合谎言检测方法，其特征在于，所述n＝20。