[发明专利]多模态谎言检测方法、装置、设备

权利要求书

1.多模态谎言检测方法，其特征在于，所述方法包括：

输入待测音频、待测视频以及待测文本，所述待测音频、待测视频以及待测文本为三种不同模态；

对所述待测音频、待测视频以及待测文本分别进行特征提取，得到词级别的深度音频特征、深度视频特征以及深度文本特征；

对所述词级别的深度音频特征、深度视频特征以及深度文本特征中的一阶、二阶以及三阶交互关系进行显式刻画，得到每个词的融合后的多模态特征；

对所述每个词的融合后的多模态特征进行上下文建模，得到每个词的最终的特征；

根据所述每个词的最终的特征，得到谎言分类结果；

其中，对所述词级别的深度音频特征、深度视频特征以及深度文本特征中的一阶、二阶以及三阶交互关系进行显式刻画，得到每个词的融合后的多模态特征的步骤包括：

对所述词级别的深度音频特征、深度视频特征以及深度文本特征分别进行线性变换以均衡化不同模态特征的维度，得到均衡化后的词级别的音频特征、视频特征以及文本特征；

在所述均衡化后的词级别的音频特征、视频特征以及文本特征中分别追加一个值为1的元素，增加元素后的词级别的音频特征、视频特征以及文本特征；

计算所述增加元素后的词级别的音频特征、视频特征以及文本特征的张量积，得到每个词的融合后的多模态特征。

2.根据权利要求1所述的方法，其特征在于，对所述待测音频、待测视频以及待测文本分别进行特征提取，得到词级别的深度音频特征、深度视频特征以及深度文本特征，包括：

利用文本对齐工具，获取所述待测音频、待测视频和待测文本中每个词语的对齐信息；

根据所述对齐信息，结合预先训练好的音频特征提取网络，从所述待测音频中提取出所述词级别的深度音频特征；

根据所述对齐信息，结合预先训练好的视频特征提取网络，从所述待测视频中提取出所述词级别的深度视频特征；

将所述待测文本输入至预先训练好的文本特征提取网络中，从所述待测文本中提取出所述词级别的深度文本特征。

3.根据权利要求2所述的方法，其特征在于，根据所述对齐信息，结合预先训练好的音频特征提取网络，从所述待测音频中提取出所述词级别的深度音频特征，包括：

根据所述对齐信息，从所述待测音频中提取每个词对应的音频片段；

将所述音频片段输入至所述预先训练好的音频特征提取网络，得到所述词级别的深度音频特征。

4.根据权利要求2所述的方法，其特征在于，根据所述对齐信息，结合预先训练好的视频特征提取网络，从所述待测视频中提取出所述词级别的深度视频特征，包括：

根据所述对齐信息，从所述待测视频中提取每个词对应的视频片段；

从所述视频片段中提取其中包含的多帧图像；

对所述多帧图像进行降采样，得到降采样后的多幅图像；

将所述降采样后的多幅图像分别输入至训练好的图像特征提取网络，从所述降采样后的多幅图像中提取出高层特征；

将所述高层特征进行池化，得到池化后的特征，将所述池化后的特征作为所述视频片段的所述词级别的深度视频特征。

5.根据权利要求1所述的方法，其特征在于，对所述每个词的融合后的多模态特征进行上下文建模，得到每个词的最终的特征，包括：

利用自注意力机制对所述每个词的融合后的多模态特征进行计算，得到融合自注意力机制的多模态特征；

将所述融合自注意力机制的多模态特征分别输入一个前向长短时记忆网络和一个反向长短时记忆网络中，得到前向长短时记忆网络输出的隐藏层特征和反向长短时记忆网络输出的隐藏层特征；

将所述前向长短时记忆网络输出的隐藏层特征和反向长短时记忆网络输出的隐藏层特征进行拼接，得到所述每个词的最终的特征。

6.根据权利要求5所述的方法，其特征在于，利用自注意力机制对所述每个词的融合后的多模态特征进行计算，得到融合自注意力机制的多模态特征，包括：

利用所述每个词的融合后的多模态特征计算出每个词的注意力权重和注意力值项；

利用所述每个词的注意力权重和注意力值项进行计算，得到所述融合自注意力机制的多模态特征。