[发明专利]基于多模态特征的测谎数据处理方法及系统

权利要求书

1.基于多模态特征的测谎数据处理方法，其特征是，包括：

获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；

对审讯视频中的音频进行端点检测，得到若干个音频端点；

提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；

基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；

对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；

综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结果。

2.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；具体包括：

采用心率贴，对被审讯人员的实时心率进行采集。

3.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；具体包括：

提取音频端点、音频端点前三个端点和音频端点后三个端点对应视频中被审讯人员的若干帧面部图像；

将若干帧面部图像输入到训练后的微表情特征识别模型中，得到面部图像中的微表情特征；

将微表情特征输入到训练后的微表情测谎识别模型中，得到微表情测谎结果。

4.如权利要求3所述的基于多模态特征的测谎数据处理方法，其特征是，所述训练后的微表情特征识别模型，训练步骤包括：

构建第一卷积神经网络模型；

构建第一训练集，所述第一训练集为已知微表情特征的连续若干帧面部图像；

利用第一训练集对第一卷积神经网络模型进行训练，得到训练后的微表情特征识别模型；

其中，已知微表情特征，包括：张嘴、微笑、抬眉毛、挤左眼、挤右眼、愤怒、向左歪嘴、向右歪嘴、露齿笑、嘟嘴、翻嘴唇、鼓嘴、闭眼、黑眼球朝左移动、黑眼球朝右移动、黑眼球旋转、黑眼球左右运动。

5.如权利要求3所述的基于多模态特征的测谎数据处理方法，其特征是，所述训练后的微表情测谎识别模型，训练步骤包括：

构建第二卷积神经网络模型；

构建第二训练集，所述第二训练集为已知撒谎或未撒谎结果的微表情特征；

利用第二训练集对第二卷积神经网络模型进行训练，得到训练后的微表情测谎识别模型；

撒谎的微表情特征为黑眼球旋转或者黑眼球左右运动。

6.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；具体包括：

基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行音频特征提取，将每个音频段对应的音频特征均输入到训练后的音频测谎识别模型中，对每个音频段进行测谎结果识别，得到音频测谎结果。

7.基于多模态特征的测谎数据处理系统，其特征是，包括：

获取模块，其被配置为：获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；

端点检测模块，其被配置为：对审讯视频中的音频进行端点检测，得到若干个音频端点；

微表情测谎模块，其被配置为：提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；

音频测谎模块，其被配置为：基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；

心率测谎模块，其被配置为：对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；

输出模块，其被配置为：综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结果。