[发明专利]一种基于多特征的面谈内容可信度评价方法和系统

说明书

本发明公开了一种基于多特征的面谈内容可信度评价方法和系统。该方法包括：实时采集参与面谈者的面谈音视频数据，通过组合算法处理从中实时提取出生理特征、微表情特征和语音特征，并运用多模态融合策略融合成特征向量，输入可信度分类预测模型，实时得出面谈内容可信度等级进行显示和提醒，最后整合面谈中参与面谈者各时段的面谈内容可信度等级得出其面谈总体的可信度评价。该系统主要包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。本发明采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，且采用多特征融合策略，分类预测模型兼顾部分特征缺失的情境，可有效提高可信度评价的真实性和可靠性。

技术领域

本发明涉及音视频信息处理技术领域，具体涉及一种基于多特征的面谈内容可信度评价方法和系统。

背景技术

在面试、谈判、审讯等目的性面谈过程中，参与面谈者出于达到自身目的的动机，比如争取更高的面谈得分、在谈判中获取更多的利益、推诿责任或逃避罪责等，可能会出现过分夸大、说谎、掩饰等违背事实的行为。目前国内外已有不少对于测谎的研究，并部分实现了在刑事侦查等特定领域中的应用，例如多道生理数据和脑电采集分析技术、微表情分析技术、语音分析技术等。其中多道生理数据采集分析技术最为常见，通过对心率、呼吸、血压、皮肤电阻等生理数据的采集分析来判断被测试者是否说谎，而脑电采集分析技术则是通过采集分析脑电波信号来实现测谎，这两者都利用接触式传感器固定于被测试者的特定部位进行测量，对测试环境、过程要求较高，容易引起被测试者的应激反应，同时被测试者也可能更加警觉而采取相应的干扰手段，从而严重影响测谎效果。微表情分析技术是对人脸表情进行识别分析，易受文化、种族和个体差异影响，也相对其他技术更容易进行伪装和掩饰。语音分析技术则是主要是通过声学特征和词汇特征分析进行测谎，后者会受语言习惯、表达方式差异的影响。以上测谎技术均有可取之处，但也各有不足，另外由于基本上都是单独应用，目前还没有成熟的融合策略和模型以进一步提高测谎准确率。

发明内容

本发明的目的在于提出一种基于多特征的面谈内容可信度评价方法和系统，实时采集或导入参与面谈者的面谈音视频数据，通过对音视频数据的组合算法处理和可信度分类预测模型判定，得出参与面谈者面谈内容实时可信度等级，并且可以综合整个面谈过程中参与面谈者各时段面谈内容的可信度等级得出其整个面谈的可信度评价，为面谈主持方提供评估依据。

为达成上述目的，本发明提出一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：

S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。

所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件。

S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。

所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。

所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程。

所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。

S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。

所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。

所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。