[发明专利]一种基于多模态数据异常检测的微表情识别方法

摘要

本发明公开了一种基于多模态数据异常检测的微表情识别方法，具体来说，基于计算机视觉技术对被测试者视频进行预处理得到多模态数据集，然后利用基于局部近邻的多模态异常检测技术得到每一帧图像的异常度得分，最后依据预设阈值，判定异常度大于阈值的图像含有微表情。本发明实施过程中可以自动、高效、准确地识别被测试者视频中的微表情，节省人力成本。

主权项

1.一种基于多模态数据异常检测的微表情识别方法，其特征在于：包括基于计算机视觉的面部图像预处理步骤和基于局部近邻的多模态数据异常检测步骤；/n所述基于计算机视觉的面部图像预处理步骤具体为：/n步骤100，输入被测试者的测试视频；/n步骤101，将测试视频的每一帧图像作为一条样本添加到数据集中；/n步骤102，将每个图像根据面部的上半部分和下半部分分为两个模态得到多模态数据集；/n步骤103，使用LBP算法提取多模态面部数据的特征；/n步骤104，面部图像预处理完成。/n所述基于局部近邻的多模态数据异常检测步骤具体为：/n步骤200，输入多模态面部数据集；/n步骤201，初始化多模态面部数据集中每个面部图像样本的正常度得分为1，用S-score表示正常度，异常度的分为1-S-score＝0；/n步骤202，对于每个面部图像样本的每个模态，计算它与其他样本的“正常距离”，“正常距离”计算方式为样本距离*S-score；对于样本i，样本j与样本i的“正常距离”为i，j之间距离*样本j的S-score；/n步骤203，对于每个面部图像样本，在每个模态寻找K个距离该样本“正常距离”最小的样本作为其K正常近邻；把所有样本的正常近邻用矩阵W表示，若样本j为样本i的K正常近邻，则W第i行第j列为1，否则为0；/n步骤204，将所有面部图像样本的S-score用向量O表示，向量O的第i维为样本i的S-score；优化目标O^TWO^T，得到样本更新后的正常度向量O和S-score；/n步骤205，重复步骤202、步骤203、204，直至收敛；/n步骤206，输出数据集中每个面部图像样本的异常度打分1-S-score；/n步骤207，根据预先设立好的阈值判定异常度高于阈值的面部图像包含微表情。/n