[发明专利]一种多角色特写镜头追踪方法

权利要求书

1.一种多角色特写镜头追踪方法，其特征在于，包括如下步骤：

获取多路视频数据，基于CNN网络构建深度学习模型，通过深度学习模型对多路视频数据分别进行人体检测和人脸检测；

根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配；分别为不同身份人物挑选最佳视角的镜头，并推送不同身份人物对应的最佳视角图像和/或视频流，所述最佳视角的镜头为多路视频中人脸检测的关键点数量最多的镜头。

2.根据权利要求1所述的一种多角色特写镜头追踪方法，其特征在于，在所述推送不同身份人物对应的最佳视角图像和/或视频流的步骤前，还包括如下步骤，在每个不同身份人物的最佳视角的镜头内，对该人进行对应的中心区域截取，并将截取的区域进行高清化图像修复。

3.根据权利要求1所述的一种多角色特写镜头追踪方法，其特征在于，所述人脸检测的关键点包括左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼、右鼻翼、鼻隔点、左右嘴唇、上下嘴唇和颏前点。

4.根据权利要求1所述的一种多角色特写镜头追踪方法，其特征在于，所述对多路视频数据分别进行人体检测和人脸检测，具体包括如下步骤：

基于CNN网络构建深度学习模型，从多路视频数据中提取图像特征，并完成多个位置框预测和类别预测；

多个位置框预测和类别预测分别与标签框进行损失计算，得到对应损失值；根据所述损失值更新深度学习模型的参数。

5.根据权利要求4所述的一种多角色特写镜头追踪方法，其特征在于，所述位置预测采用的损失函数为smooth L1 loss:

公式中，x₁与x₂均为位置预测与真实位置的差异，两者的取值范围分别是，-1x₁1,x₂1或者x₂-1。

6.根据权利要求4所述的一种多角色特写镜头追踪方法，其特征在于，所述类别预测的损失函数为交叉熵函数：

公式中，y′_i指数据标签，y_i指预测概率值。

7.根据权利要求1所述的一种多角色特写镜头追踪方法，其特征在于，根据人体检测和人脸检测结果分别对每路视频中人物进行身份匹配的具体方法为：

调用预先训练好的特征向量提取模型，在视频流中提取每路视频中人物的特征向量；

计算特征向量两两之间的欧拉距离；

根据计算得到的欧拉距离，获得每路视频中人物的相似性结果；

根据相似性结果，对每路视频中人物进行身份匹配。

8.根据权利要求7所述的一种多角色特写镜头追踪方法，其特征在于，所述欧拉距离的计算公式为：

公式中，m_i和n_i是不同的视频流中，任意两组特征向量的元素。

9.根据权利要求1所述的一种多角色特写镜头追踪方法，其特征在于，所述多路视频数据是通过多个监控采集设备从不同角度采集获得。