[发明专利]一种基于回归算法的人脸跟踪方法及应用

权利要求书

1.一种基于回归算法的人脸跟踪方法，其特征在于该方法包括以下步骤：

步骤1. 确定人脸跟踪方法的输入和输出：

输入：上一帧中的人脸框位置和当前帧的图像；

输出：是否成功跟踪到人脸框的标记，如果成功跟踪到人脸框，则更新后的人脸框位置；

步骤2. 执行人脸跟踪算法，具体是：

2-1. 根据提供的上一帧人脸框位置trk_face_bbx_old和当前帧的图像，制作人脸跟踪网络的输入图像数据trknet_in_img；

2-2. 将输入图像数据trknet_in_img输入到人脸跟踪网络，得到属于人脸的概率trknet_out_face_prob和指示人脸框位置的数据trknet_out_face_rel_bbx；

2-3. 当人脸的概率trknet_out_face_prob大于某个设定的阈值thresh_face_prob时，则认为跟踪到的结果是“人脸”，否则为“非人脸”；

2-4. 根据网络的输出指示人脸框位置的数据trknet_out_face_rel_bbx，计算当前帧图像中的人脸框位置trk_face_bbx；

2-5. 计算上一帧人脸框位置trk_face_bbx_old和当前帧图像中的人脸框位置trk_face_bbx之间的重叠度IOU；

2-6. 如果重叠度IOU值大于某个设定的阈值thresh_iou，且跟踪结果判断为人脸，则表示跟踪成功，否则表示跟踪失败；

2-7. 输出跟踪成功与否的标志及跟踪到的人脸框位置；

步骤2.1中制作人脸跟踪网络的输入图像数据trknet_in_img具体是：人脸框成比例外扩，外扩后人脸框中的图像缩放成固定大小的图像，并进一步进行像素值的归一化。

2.根据权利要求1所述的一种基于回归算法的人脸跟踪方法，其特征在于：步骤2.2中所述的人脸跟踪网络是一个基于SqueezeNet设计的小型有效的卷积网络，其中，指示人脸框位置的数据trknet_out_face_rel_bbx是在共有特征的基础上再连接一个卷积层和一个全连接层得到；属于人脸的概率trknet_out_face_prob是在共有特征的基础上再连接一个卷积层、一个全连接层、一个softmax层得到；

所述的人脸跟踪网络在使用前需要先进行训练，其训练样本的获取过程为：采集原始图片集，该原始图片集是一系列进行了准确的人脸框标注的图片集合；从已经标好人脸框的原始图片集中采集人脸跟踪网络训练所需的样本，包括正样本和负样本，基于人脸标注框label_bbx，制作人脸跟踪网络所需的正负样本；

所述的人脸跟踪网络的训练机制为：该训练所使用的损失函数由指示人脸框框位置的回归损失和属于人脸的概率的回归损失进行加权构成。

3.根据权利要求2所述的一种基于回归算法的人脸跟踪方法，其特征在于：正样本的制作过程为：对人脸标注框label_bbx进行一定程度的随机缩放、平移，得到扰动后的人脸初始框init_bbx，如果扰动后的人脸标注框与之前的人脸标注框之间的重叠度IOU大于某个设定的阈值，则当前这个扰动后的人脸标注框框就作为一个正样本框；并进一步生成该正样本的跟踪框位置相关的待回归目标值trknet_gt_rel_bbx；待回归目标值trknet_gt_rel_bbx由4个数值构成：dcx，dcy，sw，sh，分别为扰动后的人脸标注框label_bbx的中心点相对于扰动后的人脸初始框init_bbx的中心点的相对偏移量，以及，扰动后的人脸标注框label_bbx的宽高相对于人脸初始框init_bbx的宽高的相对变化量，并控制最终生成的正样本的重叠度分布。

4.根据权利要求2所述的一种基于回归算法的人脸跟踪方法，其特征在于：负样本的制作过程为：在人脸标注框的周围及原始图片集的图片中随机选定人脸初始框init_bbx。

5.一种人脸检测跟踪方法，其特征在于：

判断当前帧有无待跟踪的目标，有待跟踪的目标，则判断是否要继续跟踪，还是需要重新启动权利要求1所述的基于回归算法的人脸跟踪方法；

如果继续跟踪，则采用权利要求1所述的基于回归算法的人脸跟踪方法进行跟踪，得到跟踪成功与否的判断以及跟踪到的人脸框位置；

如果在当前帧重启权利要求1所述的基于回归算法的人脸跟踪方法，则通过选择一个检测出来的人脸赋予ID，作为当前帧的输出人脸目标；

输出跟踪或检测的结果：是否有检测到或跟踪到的人脸目标，有的话继续输出相应的人脸框、ID及其他附加信息；

如果当前帧还没有待跟踪的目标，判断当前帧是否满足调用人脸检测算法的条件，如满足则调用人脸检测算法进行检测：

人脸检测算法检测出当前帧上的人脸，选择一个人脸赋予ID，作为当前帧的输出人脸目标；

输出跟踪或检测的结果：是否有检测到的人脸目标，有的话继续输出相应的人脸框、ID及其他附加信息。