[发明专利]一种微表情识别在视频审核中的风险预警方法

权利要求书

1.一种微表情识别在视频审核中的风险预警方法，其特征在于，包括：

步骤S1：获取贷款申请人的面审视频，并从所述面审视频中提取出多帧目标人脸图像；

步骤S2：对所述目标人脸图像进行处理，得到标准化的目标人脸图像；

步骤S3：将所述标准化的目标人脸图像输入到微表情检测模型中，得到微表情片段；

步骤S4：将所述微表情片段输入到微表情识别模型中，得到微表情识别结果；

步骤S5：根据所述微表情识别结果，输出贷款风险预警信息；

其中，所述步骤S2包括：利用RetinaFace对所述目标人脸图像进行人脸检测，得到人脸坐标框bbox；同时对所述目标人脸图像进行灰度化，并进行RGB通道拆分，得到三种通道人脸图像；

以所述人脸坐标框bbox的质心为圆点对所述人脸坐标框bbox放大指定倍数，得到放大后的人脸区域，并对所述放大后的人脸区域的人脸图像分别进行人脸关键点检测和深度图像估计，对应得到68个人脸关键点和人脸深度图像；

对所述人脸深度图像进行阈值分割的二值化处理，得到二值化图像；

将三种通道人脸图像分别与所述二值化图像做二进制“与”操作，合并RGB通道得到背景填充后的目标人脸图像；

依据所述68个人脸关键点对所述背景填充后的目标人脸图像做人脸对齐的仿射变换，得到仿射变换后的新人脸图像和新人脸关键点lmk′；

通过所述新人脸关键点lmk′提取最大人脸感兴趣区域bbox′；

通过所述最大人脸感兴趣区域bbox′对所述仿射变换后的新人脸图像做裁剪和归一化处理，得到所述标准化的目标人脸图像。

2.根据权利要求1所述的微表情识别在视频审核中的风险预警方法，其特征在于，所述最大人脸感兴趣区域bbox′的计算公式如下：

bbox′＝(min(lmk′_x),min(lmk′_y),max(lmk′_x),max(lmk′_x))

式中，lmk′_x为x坐标集，lmk′_y为y坐标集。

3.根据权利要求1所述的微表情识别在视频审核中的风险预警方法，其特征在于，还包括：

逐帧提取所述面审视频中的目标人脸图像，并对提取出的多帧所述目标人脸图像进行处理，得到标准化的目标人脸图像集Η∈{1,...,T}，其中，T是帧数；

将所述目标人脸图像集中的多个目标人脸图像分别输入到所述微表情检测模型中，其中，所述目标人脸图像集Η中共检测到d组微表情片段其中，为第一组微表情片段出现的开始帧和结束帧，并且引入时间判别机制来对微表情检测的结果进行时间过滤，符合持续时间在1/25s～1/3s之间的条件才判定为微表情片段；

将所述微表情片段输入到微表情识别模型中，计算微表情识别类别的置信度，以所述微表情片段中置信度最高的结果作为最终的微表情识别结果；

当所述微表情识别结果属于负面情绪时，则输出所述贷款风险预警信息。

4.根据权利要求3所述的微表情识别在视频审核中的风险预警方法，其特征在于，所述微表情识别结果包括微表情片段出现的时间段和置信度分值。

5.根据权利要求3所述的微表情识别在视频审核中的风险预警方法，其特征在于，还包括：

获取微表情检测数据集和微表情识别数据集；

依据所述微表情检测数据集构建所述微表情检测模型，及依据所述微表情识别数据集构建所述微表情识别模型；

其中，所述微表情检测模型和微表情识别模型均为3分类的Mobilenet_v2结构，并引入损失函数ζ来分别优化所述微表情检测模型和微表情识别模型；

其中，所述损失函数ζ的计算公式如下：

式中，k∈{1,2,....K}，K是类别数，权重ω_k和特征x经过归一化后被参数s取代，表示为margin函数，是对误分类的样本加权的函数，I_k的计算公式如下：

其中，I_k为常数。

6.根据权利要求3所述的微表情识别在视频审核中的风险预警方法，其特征在于，所述微表情识别类别的置信度C_i的计算公式如下：

式中，i表示微表情识别类别，M_i为第i类的帧数，c_i为第i类的置信度，N为所述微表情片段的总帧数。