[发明专利]人脸形状点跟踪方法、装置和系统及存储介质

说明书

本发明实施例提供一种人脸形状点跟踪方法、装置和系统以及存储介质。该方法包括：步骤S210：对当前视频帧进行人脸检测，以获得至少一个人脸框；步骤S220：从至少一个人脸框中选择待跟踪人脸在当前视频帧中的当前人脸框；步骤S230：基于当前人脸框进行人脸形状点定位，以确定待跟踪人脸的当前人脸形状点；步骤S240：基于当前人脸框计算待跟踪人脸在下一视频帧中的后续人脸框；以及步骤S250：确定下一视频帧为当前视频帧并返回步骤S230。上述方法可以提升人脸形状点定位的准确度、效率和鲁棒性。

技术领域

本发明涉及人脸识别领域，更具体地涉及一种人脸形状点跟踪方法、装置和系统以及存储介质。

背景技术

人脸形状点跟踪技术是指在连续的视频帧序列中跟踪一个或多个人脸，并实时输出每帧中人脸的形状点。该技术作为人脸分析领域的一项通用技术，在很多场合都具有非常重要的作用。比如公共安全领域基于此技术锁定特定人的活动轨迹，驾驶员疲劳检测中判断人脸的连续动作，手机美颜中实时定位人脸后对人脸图像进行处理，视频直播行业实时跟踪人脸后在人脸上添加各种道具等。人脸形状点跟踪的准确性、鲁棒性和效率是该技术所关心的主要问题。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种人脸形状点跟踪方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种人脸形状点跟踪方法。该方法包括：步骤S210：对当前视频帧进行人脸检测，以获得至少一个人脸框；步骤S220：从至少一个人脸框中选择待跟踪人脸在当前视频帧中的当前人脸框；步骤S230：基于当前人脸框进行人脸形状点定位，以确定待跟踪人脸的当前人脸形状点；步骤S240：基于当前人脸框计算待跟踪人脸在下一视频帧中的后续人脸框；以及步骤S250：确定下一视频帧为当前视频帧并返回步骤S230。

示例性地，步骤S240包括：根据当前人脸形状点调整当前人脸框；以及基于调整后的人脸框计算后续人脸框。

示例性地，根据当前人脸形状点调整当前人脸框包括：将当前人脸框调整为当前人脸形状点的外包围盒。

示例性地，步骤S240包括：采用人脸跟踪算法，基于当前人脸框计算下一视频帧中与当前人脸框对应的预估人脸框；计算当前人脸框与预估人脸框之间的偏移量；根据当前人脸形状点和偏移量确定下一视频帧中与当前人脸形状点对应的预估人脸形状点；以及根据预估人脸形状点调整预估人脸框以获得后续人脸框。

示例性地，步骤S240包括：采用人脸跟踪算法，基于当前人脸框计算下一视频帧中与当前人脸框对应的预估人脸框作为后续人脸框。

示例性地，在步骤S220之后且在步骤S240之前，方法还包括：步骤S222：计算当前人脸框中包含人脸的置信度；步骤S224：判断置信度是否小于预设阈值，如果是，则转至步骤S226；步骤S226：确定下一视频帧为当前视频帧并返回步骤S210；其中，步骤S240在置信度大于或等于预设阈值的情况下执行。

示例性地，步骤S222和步骤S230利用同一卷积神经网络实现。

示例性地，步骤S220包括：在当前视频帧是执行人脸形状点跟踪的第一帧的情况下，从至少一个人脸框中选择任一人脸框作为当前人脸框；且/或，在当前视频帧不是执行人脸形状点跟踪的第一帧的情况下，如果至少一个人脸框中存在与基于前一视频帧计算获得的所有待跟踪人脸在当前视频帧中的后续人脸框不重叠的新人脸框，则选择任一新人脸框作为当前人脸框。

根据本发明另一方面，提供了一种人脸形状点跟踪装置，包括：人脸检测模块，用于对当前视频帧进行人脸检测，以获得至少一个人脸框；选择模块，用于从至少一个人脸框中选择待跟踪人脸在当前视频帧中的当前人脸框；形状点定位模块，用于基于当前人脸框进行人脸形状点定位，以确定待跟踪人脸的当前人脸形状点；人脸框计算模块，用于基于当前人脸框计算待跟踪人脸在下一视频帧中的后续人脸框；以及第一视频帧确定模块，用于确定下一视频帧为当前视频帧并启动形状点定位模块。