[发明专利]一种体育视频中对参赛运动员进行多人脸跟踪的方法

摘要

本发明公开了一种体育视频中对参赛运动员进行多人脸跟踪的方法，包括以下步骤：预训练针对人脸识别的卷积神经网络；对输入视频进行镜头分割，选出所有近景镜头片段；对近景镜头中每幅图像进行人脸检测，得到人脸检测响应；关联人脸检测响应形成轨迹片段；根据轨迹片段之间的时空信息限制，生成训练样本；以获得的训练样本作为输入，使用Siamese或Triplet网络对预训练的卷积神经网络进行微调；使用微调后的卷积神经网络，提取每幅人脸图像的特征；分层关联所有轨迹片段，生成人脸运动轨迹。本发明所述方法，从待跟踪视频中在线收集训练样本，对预训练的卷积神经网络进行微调，从而在线学习更具判别性的人脸特征，进而使用该特征进行更加有效地多人脸跟踪。

主权项

一种体育视频中对参赛运动员进行多人脸跟踪的方法，其特征在于，包括以下步骤：1)在包含不少于3000个不同人脸类别的离线人脸数据集上，使用监督式方法预先训练一个针对人脸识别的卷积神经网络模型；2)通过检测视频中的镜头切换，将输入视频分割成无重叠的镜头片段，并选择出所有近景的镜头片段；3)在每个近景的镜头片段中，使用人脸检测器对每一幅图像进行人脸检测，得到人脸检测响应；4)在每个近景的镜头片段中，将相邻几帧图像中相似度高的人脸检测响应关联为轨迹片段；5)在所得到的轨迹片段中，根据时空信息限制，生成正负两类训练样本；6)以获得的正负训练样本作为输入，使用Siamese或Triplet网络对1)中预训练的卷积神经网络进行微调，在线学习更具区分性和适应性的人脸特征；7)使用微调后的卷积神经网络，提取每个轨迹片段中每幅图像的人脸特征；8)分层关联所有轨迹片段，生成最终的人脸运动轨迹。