[发明专利]一种多角色特写镜头追踪方法

说明书

本发明公开一种多角色特写镜头追踪方法，包括如下步骤：获取多路视频数据，基于CNN网络构建深度学习模型，通过深度学习模型对多路视频数据分别进行人体检测和人脸检测；根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配；分别为不同身份人物挑选最佳视角的镜头，并推送不同身份人物对应的最佳视角图像和/或视频流。本发明能够准确的判断监控系统中的有效人物数据，提高视频数据的分析能力，提供高质量的分析结果及能够实时提供检测人物的特写图像和/或视频流。

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种多角色特写镜头追踪方法。

背景技术

目前，深度学习技术不断发展、进步，成为了当今最流行的科学趋势之一。卷积神经网络(Convolutional Neural Network，CNN)作为深度学习中的重要算法，非常擅长处理图像相关的问题，如今广泛运用于计算机视觉领域，在人脸检测、图像检索等方面发挥着重要作用。

现有技术中，常常需要对待监测人物进行监测、识别，目前采用方法绝多数是通过设置视频监测设备对待测人物进行实时监控，将监控得到的大规模数据集建立模型，提取特征并进行待测人物的相关输出，但是在大多数场景中，利用视频数据的进行监测、识别，难以有效满足定制化服务需求，比如：由于托育机构虐童事件频发，为了确保子女的安全性、保持家庭照护与托育照护的一致性，家长往往希望实时查看托育机构的监控视频。但这一需求往往难以得到满足，主要原因如下：(1)直接使用传统监控系统查看视频会侵犯其他幼儿隐私；(2)展示全画面的视频会泄露托育机构的特色教育内容，削弱其竞争力；(3)即使部分托育机构允许监护人在手机软件或者电脑软件上实时查看监控视频，由于监控摄像头拍摄角度固定及幼儿的位置移动，不能实时根据待测人物的动作变换，监护人一般难以始终看到其子女的特写镜头，需要花费时间在各监控画面中定位子女，且所有监护人查看到的数据一致，不存在定制化视频数据的分发。因此，基于上述现实问题，急需提供针对某些场景下的多路监控视频下，可以实时追踪特定场景下出现特定人物的特写镜头，实现视频数据的高度定制化自动生成服务，以满足此类场景下的定制化数据需求。

发明内容

为了解决上述技术问题，本发明提出一种多角色特写镜头追踪方法。

为了达到上述目的，本发明的技术方案如下：

一种多角色特写镜头追踪方法，包括如下步骤：

获取多路视频数据，基于CNN网络构建深度学习模型，通过深度学习模型对多路视频数据分别进行人体检测和人脸检测；

根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配；

分别为不同身份人物挑选最佳视角的镜头，并推送不同身份人物对应的最佳视角图像和/或视频流。

优选地，在所述推送不同身份人物对应的最佳视角图像和/或视频流的步骤前，还包括如下步骤，在每个不同身份人物的最佳视角的镜头内，对该人进行对应的中心区域截取，并将截取的区域进行高清化图像修复。

优选地，所述最佳视角的镜头为多路视频中人脸检测的关键点数量最多的镜头。

优选地，所述人脸检测的关键点包括左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼、右鼻翼、鼻隔点、左右嘴唇、上下嘴唇和颏前点。

优选地，所述对多路视频数据分别进行人体检测和人脸检测，具体包括如下步骤：

基于CNN网络构建深度学习模型，从多路视频数据中提取图像特征，并完成多个位置框预测和类别预测；

多个位置框预测和类别预测分别与标签框进行损失计算，得到对应损失值；

根据所述损失值更新深度学习模型的参数。

优选地，所述位置预测采用的损失函数为smooth L1 loss: