[发明专利]基于深度表观特征和自适应聚合网络的多人脸跟踪方法

说明书

本发明涉及一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法，首先采用人脸识别数据集训练自适应聚合网络；接着使用基于卷积神经网络的人脸检测方法获取人脸的位置，初始化待跟踪的人脸目标，提取人脸特征；然后采用卡尔曼滤波器预测每个人脸跟踪目标在下一帧的位置，并在下一帧中再次定位人脸所在位置，对检测出的人脸提取特征；最后使用自适应聚合网络，对每个跟踪的人脸目标跟踪轨迹中的人脸特征集合进行聚合，动态地生成一个融合多帧信息的人脸深度表观特征,结合预测的位置及融合后的特征,与当前帧中通过检测得到的人脸位置及其特征,进行相似度计算与匹配，更新跟踪状态。本发明能够提升人脸跟踪的性能。

技术领域

本发明涉及模式识别与计算机视觉领域，特别是一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法。

背景技术

近年来，随着社会进步及科技的不断发展，视频人脸识别问题已渐渐成为一个热门研究领域，吸引了国内外众多专家学者的研究兴趣，作为视频人脸识别的入口和基础，人脸检测和跟踪技术得到了快速的发展，广泛应用在智能监控、虚拟现实感知接口、视频会议等领域，由于现实的视频背景是复杂多变的，且人脸作为非刚性目标，在视频序列中可能存在大幅的姿态或表情的变化，在真实场景中实现一个鲁棒的人脸跟踪算法仍然具有很大的挑战。

为了对一个人脸进行分析，我们首先必须捕捉人脸，这可以通过人脸检测技术和人脸跟踪技术来实现，只有在视频中精确定位和跟踪人脸目标，我们才可以对人脸进行更细致的分析，如人脸识别，姿态估计等。目标跟踪技术无疑是智能安防中最为重要的技术之一，人脸跟踪技术便是目前跟踪技术的一种具体应用，其运用跟踪算法处理视频序列中运动的人脸，并保持对这个人脸区域的锁定完成跟踪，该技术在智能安防及视频监控等场景下都具有良好的应用前景。

人脸跟踪在视频监控中扮演着重要的角色，但目前在真实场景中，由于人脸姿态的大幅变化以及跟踪目标之间的重叠与遮挡，导致实际应用还具有较大的困难。

发明内容

有鉴于此，本发明的目的是提出一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法，能够提升人脸跟踪的性能。

本发明采用以下方案实现：一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法，具体包括以下步骤：

步骤S1：采用人脸识别数据集训练自适应聚合网络；

步骤S2：根据初始的输入视频帧，采用卷积神经网络获取人脸的位置，初始化待跟踪的人脸目标，提取人脸特征并保存；

步骤S3：采用卡尔曼滤波器预测每个人脸目标在下一帧的位置，并在下一帧中再次定位人脸所在位置，并对检测出的人脸提取特征；

步骤S4：使用步骤S1训练好的自适应聚合网络，对每个跟踪的人脸目标跟踪轨迹中的人脸特征集合进行聚合，动态地生成一个融合多帧信息的人脸深度表观特征,结合预测的位置及融合后的特征,与当前帧中通过检测得到的人脸位置及其特征,进行相似度计算与匹配，更新跟踪状态。

进一步地，步骤S1具体包括以下步骤：

步骤S11：收集公开的人脸识别数据集，获得相关人物的图片及姓名；

步骤S12：采用融合策略对多个数据集中共有人物的图片进行整合，使用预训练的MTCNN模型进行人脸检测和人脸关键点定位，并应用相似变换进行人脸对齐，同时将训练集中的所有图像都减去其每个通道在训练集上的均值，完成数据预处理，训练自适应聚合网络。

进一步地，所述自适应聚合网络由深度特征抽取模块和自适应特征聚合模块串联而成，其接受同一个人的一张或多张人脸图像作为输入，输出聚合后的特征，其中深度特征抽取模块采用34层的ResNet作为骨干网络，自适应特征聚合模块含有一个特征聚合层；令B表示输入的样本数量，{z_t}表示深度特征抽取模块的输出特征集合，其中t＝1,2,...,B表示输入样本编号，特征聚合层的计算方式为：