[发明专利]一种基于多特征的面谈内容可信度评价方法和系统

权利要求书

1.一种基于多特征的面谈内容可信度评价方法，其特征在于，包括以下步骤：

S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号；

所述有效的序列帧图像和被语音信号分别满足参与面谈者人脸图像和语音信号提取条件；

S2、从有效的序列帧图像和语音数据中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号；

S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征；

S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量；

S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记；

S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。

2.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程；所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程；所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。

3.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。

4.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数；所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等；所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。

5.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。

6.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。

7.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。

8.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。