[发明专利]一种基于头肩检测的跟踪录播方法及系统

说明书

本发明公开了一种基于头肩检测的跟踪录播方法及系统，该跟踪录播方法包括：预先对头肩图片进行深度学习，生成已训练的头肩检测网络模型；摄像机在预设位置实时采集图像帧，采用已训练的头肩检测网络模型进行计算，判断待检测图像帧中是否有待跟踪目标对象，如果没有，摄像机保持预设静止状态；如果有，确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态，根据待跟踪目标对象的运动情况自动调整摄像机的角度并进行相应缩放，从而实现目标的自动跟踪录播。其优点是：将对人体的检测转换为对头肩部位的检测，对遮挡和姿态变化具有一定的鲁棒性；根据目标运动情况自动调整镜头进行跟踪录播，保证跟踪录播的准确性。

技术领域

本发明涉及跟踪录播技术领域，具体涉及一种基于头肩检测的跟踪录播方法及系统。

背景技术

录播系统，是将现场拍录的视频、音频、电子设备的图像信号进行整合同步录制并生成标准化的流媒体文件，用于对外直播、存储、后期编辑、点播。传统的录播系统需要专门的拍摄人员或导播人员对摄像机进行导播操作，在进行跟踪录播时，人为调整跟踪录播策略对拍摄人员的技术要求较高，容易产生误操作。现有的自动跟踪录播系统大多通过增加辅助摄像头对人体进行检测，从而调整摄像头实现跟踪录播，但是这种方法不仅成本较高，而且在受到遮挡或姿态变化等干扰的情况下，目标跟踪的鲁棒性较低，录播的准确性也会受到影响。

因此，在录播跟踪过程中提高跟踪录播的鲁棒性和准确性，成为现有技术有待解决的问题。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于头肩检测的跟踪录播方法及系统。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于头肩检测的跟踪录播方法，所述跟踪录播方法包括下列步骤：

S1、预先对头肩图片进行深度学习，生成已训练的头肩检测网络模型；

S2、将实时采集的待检测视频帧采用已训练的头肩检测网络模型进行计算，判断待检测视频帧序列中是否检测到待跟踪目标对象；

S3、当没有检测到待跟踪目标对象时，摄像机保持预设静止状态；当检测到待跟踪目标对象时，确定待跟踪目标对象并切换摄像机的状态为跟踪录播状态。

进一步地，所述步骤S1包括：

S11、制作包含训练集和验证集的图片数据库：采集人体目标运动视频并对视频帧中的头肩区域进行标注，标注区域为正样本，未标注区域为负样本，组成训练集和验证集。

S12、构建用于深度学习的头肩检测网络模型：以TensorFlow深度学习框架为基础，在SSD目标检测模型上获取头肩检测网络模型；

S13、采用头肩检测网络模型对图片数据库进行训练学习，生成已训练的头肩检测网络模型。

进一步地，所述头肩检测网络模型的具体结构如下：

从输入层到输出层依次连接为：VGG-16网络部分(包括卷积层 conv1_1、卷积层conv1_2、卷积层conv2_1、卷积层conv2_2、卷积层conv3_1、卷积层conv3_2、卷积层conv4_1、卷积层conv4_2、卷积层conv4_3、卷积层conv5_1、卷积层conv5_2、卷积层conv5_3)、卷积层conv6、卷积层 conv7、卷积层conv8_2、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2；对卷积层conv4_3、卷积层conv7、卷积层conv8、卷积层conv9_2、卷积层conv10_2、卷积层conv11_2六个卷积层的输出分别采用两个3*3大小的卷积核进行卷积并将结果合并，获取8732个默认框(default box)；采用非极大值抑制(Non-Maximum Suppression)算法选取置信度最高的区域作为预测结果。