[发明专利]一种多模态融合谎言检测方法

说明书

本发明公开了一种多模态融合谎言检测方法，基于长短期记忆循环神经网络、前馈全连接神经网络和卷积神经网络，获取文本、视频和音频特征矩阵；接着基于每个问题的文本、视频和音频融合特征矩阵以及每个个体的问题之间的关联，获取问题间关联图神经网络；然后基于问题间关联图神经网络，获得图神经网络上每个问题结点的关联表达矩阵；最后基于每个问题结点的关联表达矩阵获取判断个体在该问题上是否说谎的分类向量。本发明适用于用于真实庭审或审讯情形下，处理比当前视频级别谎言检测更细粒度的问题级别的谎言检测问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于多模态融合谎言检测方法。

背景技术

谎言在的日常生活中很常见。有些谎言不着边际，没有恶意。然而，有些谎言，如法庭上或刑事审判中的谎言，具有破坏性，对司法公正和社会安全产生不良影响。能否判断这些谎言，关系到正义和真理。因此，准确有效的欺骗检测可以为评估证词的真实性和审判的决定提供至关重要的支持。

已有的用于真实庭审或审讯情形下的谎言检测只关注于视频级别的谎言检测任务，即对于给定的视频片段给出检测结果，不管这个片段中包含一个还是多个审讯问题。然而，给出每个庭审问题的回答的真实性在现实庭审中是有必要的，而且同一个体在前后回答的表现也具有关联性，这种关联性应该被用于提升问题级别谎言检测的表现。

根据上面的描述可知，目前缺乏一种考虑个体前后回答表现的关联性的问题级别的谎言检测方法和装置。

发明目的

本发明的目的即在于针对现有技术中所存在的问题，提供一种多模态融合谎言检测方法。具体是针对问题级别的谎言检测任务，提供一种多模态融合谎言检测方法，实现将文本、视觉和音频模态的信息进行融合，同时通过图神经网络进行相同个体不同问题之间的关联学习，发掘出不同问题的个体行为的关联性从而提升谎言检测的表现。主要分为两个方面：1)文本、视觉、音频特征表达抽取与多模态融合；2)基于图神经网络的关联特征学习和谎言检测分类。

发明内容

本发明公开了一种多模态融合谎言检测方法，包括以下步骤：

步骤1、对于包括文本、视觉、音频的谎言行为的相关特征进行表达抽取与多模态融合，具体包括：

基于长短期记忆循环神经网络和前馈全连接神经网络，获取文本的谎言行为相关特征表达矩阵；

基于卷积神经网络和长短期记忆循环神经网络，获取视觉的谎言行为相关特征表达矩阵；

基于音频处理深度神经网络，获取音频的谎言行为相关特征表达矩阵；

基于所获取的文本、视觉、音频的谎言行为相关特征表达矩阵，获取多模态融合特征矩阵；

步骤2、基于图神经网络进行关联特征学习和谎言检测分类，具体包括：

基于步骤1所获取的多模态融合特征矩阵，获取全连通表示图，以每个用户的单个问题行为所对应的多模态融合特征矩阵作为节点；

基于所述全连通表示图和注意力机制，获取每个用户的单个问题行为所对应的表达矩阵；

基于所获取的每个用户的单个问题行为所对应的表达矩阵和前馈全连接神经网络，获取是否说谎的检测分类结果。

优选地，步骤1中所述获取文本的谎言行为相关特征表达矩阵，具体包括：

将文本抽象为含有n个单词的句子，用w＝{w₁，w₂，…，w_n}表示，通过预训练模型Bert，将文本w中每个单词编码为768维的词向量，即