[发明专利]一种人脸特征信息的追踪方法、装置及系统

权利要求书

1.一种人脸特征信息的追踪方法，其特征在于，包括：

获取待处理的第一图像帧和已处理的第二图像帧，所述第一图像帧和所述第二图像帧为视频流中的至少一对连续图像帧，所述第一图像帧中包括预估人脸框，所述第二图像帧中包括已检测到的人脸框；

采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息，所述人脸特征信息包括人脸框和/或人脸特征点。

2.根据权利要求1所述的方法，其特征在于，采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，基于处理结果追踪所述第一图像帧的人脸特征信息包括：

采用所述深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理，以得到第一处理结果，其中，所述第一处理结果包括：所述第一图像帧相对于所述第二图像帧的人脸框偏移量，所述第一图像帧相对于所述第二图像帧的人脸特征点偏移量；

基于所述第一处理结果追踪所述第一图像帧的人脸特征信息。

3.根据权利要求2所述的方法，其特征在于，所述深度神经网络包括：

第一神经网络和第二神经网络，其中，所述第一神经网络包括两个结构相同的基础网络，两个所述基础网络的网络末端分别与所述第二神经网络的输入端相连接，两个所述基础网络的输入端用于输入所述至少一对连续图像帧；

所述第一神经网络和所述第二神经网络均为将一个或多个卷积层，一个或多个池化层和一个或多个非线性层按照预定连接方式连接而成的网络，且所述第一神经网络和所述第二神经网络的连接方式相同或者不同。

4.根据权利要求2所述的方法，其特征在于，基于所述第一处理结果追踪所述第一图像帧的人脸框包括：

结合所述人脸框偏移量和所述第二图像帧的人脸框的坐标确定所述第一图像帧的人脸框。

5.根据权利要求4所述的方法，其特征在于，基于所述第一处理结果追踪所述第一图像帧的人脸特征点包括：

结合所述人脸特征点偏移量和所述第二图像帧的人脸特征点的坐标确定中间人脸特征点，其中，所述中间人脸特征点位于所述第一图像帧的人脸框的坐标系中；

将所述中间人脸特征点进行归一化处理，得到所述第一图像帧的人脸特征点，其中，所述第一图像帧的人脸特征点位于所述第一图像帧的坐标系中。

6.根据权利要求1所述的方法，其特征在于，

所述方法还包括：获取指导特征点，其中，所述指导特征点为已检测出的所述第二图像帧的人脸特征点；

所述采用深度神经网络模型对所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域进行处理包括：将所述指导特征点、所述第一图像帧的所述预估人脸框所标识的区域和所述第二图像帧的所述已检测到的人脸框所标识的区域输入至所述深度神经网络模型中进行处理，得到第二处理结果，其中，所述第二处理结果包括：所述第一图像帧相对于所述第二图像帧的人脸框偏移量和所述第一图像帧的人脸特征点；以及，基于所述人脸框偏移量确定所述第一图像帧的人脸框。

7.根据权利要求1所述的方法，其特征在于，在采用深度神经网络模型对所述第一图像帧和所述第二图像帧进行处理的同时，所述方法还包括：

获取所述深度神经网络模型基于所述第一图像帧计算得到的置信度；

基于所述置信度确定所述第一图像帧的人脸框中是否包括人脸；

在确定出不包含人脸的情况下，停止对所述视频流中的人脸进行跟踪。