[发明专利]一种人脸特征信息的追踪方法、装置及系统

说明书

本发明提供了一种人脸特征信息的追踪方法、装置及系统，涉及图像识别的技术领域，该方法包括：获取待处理的第一图像帧和已处理的第二图像帧，第一图像帧和第二图像帧为视频流中的至少一对连续图像帧，第一图像帧中包括预估人脸框，第二图像帧中包括已检测到的人脸框；采用深度神经网络模型对第一图像帧的预估人脸框所标识的区域和第二图像帧的已检测到的人脸框所标识的区域进行处理，基于处理结果追踪第一图像帧的人脸特征信息，人脸特征信息包括人脸框和/或人脸特征点，解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题。

技术领域

本发明涉及图像识别的技术领域，尤其是涉及一种人脸特征信息的追踪方法、装置及系统。

背景技术

人脸形状点跟踪技术是指在连续的视频序列中跟踪一个或多个人脸，并实时输出每帧中人脸的形状点。该技术在很多场合都具有非常重要的作用，例如，锁定特定人的活动轨迹，驾驶员疲劳检测，手机美颜中人脸框图像的处理，视频直播中道具的添加等。人脸跟踪的准确性，鲁棒性和效率是该技术所关心的主要问题。

现有技术中，该技术主要分为两类，第一类通过有监督的梯度下降方法(Supervised Descent Method，简称SDM)模型或者卷积神经网络(Convolutional NeuralNetwork，简称CNN)的迭代计算输出人脸形状点。该类方法是基于视频序列中上一帧的人脸形状点来识别当前帧的人脸性状态。由于该类方法依赖于上一帧形状点，导致该方法在较大的人脸移动或姿态变化时往往难以应对。另一类方法是在姿态变化或表情变化较大的情况下，通过跟踪器官轮廓点来应对复杂的跟踪情况，但该方法仍然无法解决人脸移动过快的问题。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种人脸特征信息的追踪方法、装置及系统，以解决了现有技术中的人脸追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题。

第一方面，本发明实施例提供了一种人脸特征信息的追踪方法，包括：获取待处理的第一图像帧和已处理的第二图像帧，所述第一图像帧和所述第二图像帧为视频流中的至少一对连续图像帧，所述第一图像帧中包括预估人脸框，所述第二图像帧中包括已检测得到的人脸框；采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息，所述人脸特征信息包括人脸框和/或人脸特征点。

进一步地，采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息包括：采用所述深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，以得到第一处理结果，其中，所述第一处理结果包括：所述第一图像帧相对于所述第二图像帧的人脸框偏移量，所述第一图像帧相对于所述第二图像帧的人脸特征点偏移量；基于所述第一处理结果追踪所述第一图像帧的人脸特征信息。

进一步地，所述深度神经网络包括：第一神经网络和第二神经网络，其中，所述第一神经网络包括两个结构相同的基础网络，两个所述基础网络的网络末端分别与所述第二神经网络的输入端相连接，两个所述基础网络的输入端用于输入所述至少一对连续图像帧；所述第一神经网络和所述第二神经网络均为将一个或多个卷积层，一个或多个池化层和一个或多个非线性层按照预定连接方式连接而成的网络，且所述第一神经网络和所述第二神经网络的连接方式相同或者不同。

进一步地，基于所述第一处理结果追踪所述第一图像帧的人脸框包括：结合所述人脸框偏移量和所述第二图像帧的人脸框的坐标确定所述第一图像帧的人脸框。