[发明专利]一种基于表情、语音和眼动特征的多模态测谎方法

说明书

本发明公开了一种基于表情、语音和眼动特征的多模态测谎方法，包括：获取表情、眼动特征、语音的数据并进行音视频分离、去噪等预处理，处理后分别送入表情情感识别模块、语音情感识别模块和眼动特征识别模块进行分析得到从表情、声音、眼部特征分别得到的情感特征，通过将三个模态的情感结合作为情感特征送入训练好的分类模型进行测谎，最终得到综合测谎结果。本发明通过多模态的情感分类能更加准确的实现测谎。

技术领域

本发明涉及模式识别领域，具体涉及一种基于表情、语音和眼动特征的多模态测谎方法。

背景技术

测谎技术是通过一定物理技术的辅助，测试被测对象是否有撒谎的方法。人在说谎时会不由自主地产生一定的心理压力，而这种心理压力又会引起一系列的生理反应，如心跳加快、血压升高、手掌出汗、体温微升、肌肉微颤、呼吸速度和容量略见异常等，由于这些生理反应是受人体植物神经系统控制的，所以难以被人的主观意志所改变和控制。测谎技术就是依照上述原理，根据具体的实际情况，用预先准备的题目向被测试人提问，使其形成心理刺激，再由仪器记录被测试人的相关生理反应，通过对其生理反应峰值数据的分析，得出被测试人是否诚实回答问题。

目前，常规的测谎仪主要采用肌电、脑电等接触式设备，虽然较为准确，但是专业设备庞大贵重，故人们开始探索具有轻便性质的非接触式测谎技术。不同于常规测谎仪用昂贵的肌电、脑电等接触式设备来测谎，非接触式测谎技术用摄像头与麦克风等非接触式设备实现测谎，具有设备成本低、隐蔽性、应用场景多等优势。

随着人工智能技术的兴起，深度学习算法，表情识别、语音情感识别、人脸识别等技术的准确率已经达到与人类相当的程度。而人在说谎时除了可测量到生理反应变化之外，外在的面部表情变化、语音语调变化、以及眼动频率变化等也能够反应出说话的真实性。这些变化可以通过普通的摄像头与麦克风来捕捉。与常规的测谎仪相比，通过表情、语音、眼动三种模态的心理识别系统具有准确性、非接触式、设备成本低、隐蔽性、应用场景多等优势。并且，该系统还可以应用在抑郁症诊断等其他心理疾病方面。

发明内容

发明目的：本发明所要解决的技术问题是开发出一套融合多种模态的集成测谎软件系统。在线通过麦克风、摄像头等设备获取被测对象的视频上传到服务器，通过服务器上集成的表情识别、语言情感识别和眼动特征识别子模块进行分析，将分析结果传回设备，能够实现在非接触式测谎。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：本发明设计了一种基于表情、语音和眼动特征的多模态测谎方法，该方法包括以下步骤：

(1)获取测谎所需视频，对获取的视频进行音视频分离；

(2)对视频文件输入到表情情感识别模型得到表情情感识别结果；

(3)对视频文件进行眼动特征分析得到眼动特征；

(4)对音频文件进行语音情感识别模型得到语音情感识别结果；

(5)将步骤(2)-(3)得到的结果组合成特征向量输入到测谎模型中进行测谎识别，得到测谎结果。

进一步的，所述步骤(1)获取视频的方法如下：上传离线视频、在线视频通话，虚拟人物对话。

进一步的，步骤(2)中表情情感识别模型的训练方法如下：

(2.1)采集不同的视频，对视频流进行预处理，对人脸进行定位，提取具有旋转不变性的VLBP特征作为表情特征，视频每帧的特征为f_i，视频流的特征向量为F＝[f₁,f₂,…,f_n]，将F调整为行向量的形式作为视频的表情特征；

(2.2)采集不同视频时，设置不同视频的表情特征对应不同的表情情绪标签；