[发明专利]一种基于表情、语音和眼动特征的多模态测谎方法

权利要求书

1.一种基于表情、语音和眼动特征的多模态测谎方法，其特征在于，该方法包括以下步骤：

(1)获取测谎所需视频，对获取的视频进行音视频分离；

(2)对视频文件输入到表情情感识别模型得到表情情感识别结果；

(3)对视频文件进行眼动特征分析得到眼动特征；

(4)对音频文件进行语音情感识别得到语音情感识别结果；

(5)将步骤(2)-(4)得到的结果组合成特征向量输入到测谎模型中进行测谎识别，得到测谎结果；

步骤(4)中语音情感识别模型的训练方法如下：

(4.1)对音频文件进行预处理，数字化、预加重、去掉音频文件中句与句之间的停顿、分割成一句一句的语音片段，对语音片段进行降噪处理，得到语音信号s(n)，其中，n为时间；

(4.2)对语音信号使用倒谱法进行基音检测，得到基音频率v；语音信号s(n)通过加窗函数w(n)分帧处理后得到分段的帧语音信号s_i(n)，基音频率对应为v_i，i为第i帧数，共fn帧，窗长为L，第i帧的短时能量为：过零率为：对语音信号s_i(n)进行倒谱法计算得到共振峰的值t_i；对语音信号s_i(n)进行梅尔频率计算方法得出语音的MFCC参数MFCC_i；得到语音特征为其中，为基音频率的平均值，D(v_i)为基音频率的方差，为短时能量的平均值，D(E_i)为短时能量的方差，m_0.5(E_i)为短时能量的中位数，max(E_i)-min(E_i)为短时能量的最大值和最小值之差，是过零率的平均值，m_0.5(P_i)是过零率的中位数，min(t_i)是共振峰的最小值，为MFCC参数的平均值，D(MFCC_i)为MFCC参数的方差；

(4.3)采集不同视频时，设置不同视频的语音特征对应不同的情绪标签；

(4.4)将步骤(4.2)中的语音特征作为输入，步骤(4.3)中的情绪标签作为输出，训练分类模型，训练得到语音情感识别模型。

2.根据权利要求1所述的一种基于表情、语音和眼动特征的多模态测谎方法，其特征在于，所述步骤(1)获取视频的方法如下：上传离线视频或在线视频通话或虚拟人物对话。

3.根据权利要求1所述的一种基于表情、语音和眼动特征的多模态测谎方法，其特征在于，步骤(2)中表情情感识别模型的训练方法如下：

(2.1)采集不同的视频，对视频流进行预处理，对人脸进行定位，提取具有旋转不变性的VLBP特征作为表情特征，视频每帧的特征为f_i，视频流的特征向量为F＝[f₁，f₂，...，f_n]，将F调整为行向量的形式作为视频的表情特征；

(2.2)采集不同视频时，设置不同视频的表情特征对应不同的表情情绪标签；

(2.3)将步骤(2.1)中的表情特征作为输入，将步骤(2.2)中的表情情绪标签作为输出，训练分类模型，得到表情情感识别模型。

4.根据权利要求1所述的一种基于表情、语音和眼动特征的多模态测谎方法，其特征在于，步骤(3)中，对视频文件进行眼动特征分析，得到眼动特征，方法如下：

(3.1)首先将获取的视频文件分帧，对人脸进行定位，得到人脸位置的矩形框；

(3.2)根据人脸的几何特征，定位出眼睛所在的区域，再使用基于图像梯度的方法在梯度最低的位置定位瞳孔，记录左右瞳孔的坐标[xl_i，yl_i]和[xr_i，yr_i]，其中，i表示帧数，瞳孔间距为根据前后帧记录的瞳孔坐标，可得到瞳孔的运动角度和位移其中x_i＝{xl_i，xr_i}，y_i＝{yl_i，yr_i}，对左右瞳孔分别计算d和a。

5.根据权利要求1所述的一种基于表情、语音和眼动特征的多模态测谎方法，其特征在于，步骤(5)中，测谎模型的训练方法如下：

(5.1)根据步骤(2)-(4)的方法对每段视频进行识别，得到表情情感识别结果、眼动特征、语音情感识别结果；

(5.2)将表情情感识别结果、眼动特征、语音情感识别结果组合成为测谎特征向量；

(5.3)采集样本时，得到每段视频文件对应的是否说谎的标签，标签代表说谎或真实；

(5.4)将步骤(5.2)中的测谎特征向量作为输入，步骤(5.3)中的标签作输出，训练分类样本，得到测谎模型。