[发明专利]一种基于光流分析的人脸操控检测方法及其检测装置

说明书

本发明涉及一种基于光流分析的人脸操控检测和基于光流分析的人脸操控检测装置。该装置包括：人脸采集模块，用于采集人脸视频；光流分析模块，用于选取所述人脸视频中的多个相邻帧，并结合以下的人脸检测模块检测出的人脸区域，针对所述多个相邻帧，对于检测出的人脸区域之外区域的光流分布和像素变化进行统计分析，根据所述统计分析结果判断所述人脸视频是否存在被操控的可能性；以及人脸检测模块，用于检测光流分析模块选取的多个连续帧的图像中的人脸区域。根据本发明，能够有效检测采用PS或深度网络生成的面部操控视频，从而降低人脸识别系统使用的风险性。

技术领域

本发明涉及计算机技术，具体地涉及一种基于光流分析的人脸操控检测方法及其检测装置。

背景技术

目前，人脸操控已经成为攻击人脸识别系统的一种主要方法，之前曾经流行的AI变脸特效就是基于人脸操控技术完成的，其对人脸识别相关的金融安全危害较大。另一方面，由于无法对基于人脸操控所伪造的人脸视频进行检测也导致了人脸识别的推广受到影响。而且，随着人脸操控技术的不断发展，未来会对基于人脸识别的支付应用产生较大危害。

发明内容

鉴于上述问题，本发明旨在提出一种能够有效检测采用PS或深度网络生成的面部操控视频的基于光流分析的人脸操控检测方法及其检测装置。

本发明一方面的基于光流分析的人脸操控检测方法，其特征在于，包括以下步骤：

人脸采集步骤，采集人脸视频，选取所述人脸视频中的能够用于人脸识别的多个相邻帧；

光流分布检测步骤，在所述多个相邻帧之中利用LK光流法检测相邻的第一帧和第二帧的光流向量集合；

人脸检测步骤，对于所述第一帧和所述第二帧分别检测出第一人脸区域和第二人脸区域；

像素变化判断步骤，基于所述第一帧和所述第二帧的光流向量集合，获得所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合，计算所述第一帧的所述第一人脸区域之外的第一非人脸区域和所述第二帧的所述第二人脸区域之外的第二非人脸区域的光流向量集合中非零向量占比Pv，若非零向量占比Pv大于预先设定的阈值，则判断为人脸视频存在被操控的可能性。

可选地，在所述非零向量占比Pv大于预先设定的阈值的情况下进一步包括以下步骤：

像素处理步骤，对于所述第一帧和所述第二帧执行像素逆映射；

像素比对步骤，比对所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域中的像素是否相同，若判断结果为两者不相同，则异常帧数量增加1；以及

判断步骤，当所述异常帧数量大于预先设定的阈值的情况下，则确认人脸视频存在被操控的可能性。

可选地，在所述光流分布检测步骤中，采用LK光流法计算N个相邻帧中的第一帧和第的第二帧的光流向量集合V＝{v(x,y)}，其中，(x,y)为图像中的像素位置，其中，N为自然数。

可选地，在所述人脸检测步骤中，分别检测所述第一帧和所述第二帧中的所述第一人脸区域和所述第二人脸区域，将所述第一人脸区域和所述第二人脸区域分别记为Fi和Fi+1。

可选地，设置所述预先设定的阈值为a，其中，0a1。

可选地，将a设定为在0a1的范围内更靠近0的值。

可选地，所述像素比对步骤包括：

将所述第一帧的所述第一非人脸区域和所述第二帧的所述第二非人脸区域进行像素值比对，并统计两帧中像素值相同的像素占比值s；