[发明专利]一种基于深度特征和视频目标检测的安全帽佩戴检测方法

摘要

本发明公开了一种基于深度特征和视频目标检测的安全帽佩戴检测方法，包括以下步骤：视频数据采集；数据标注：针对Step 1采集的数据进行人工标注；数据集准备：数据集组成包括划分后的训练集、测试集以及验证集，每一个集合中包含的是原始视频对应的图片，特别的训练集和验证集还包含每一张图片对应的标注数据；网络构建和训练：对输入视频中的关键帧提取特征，将关键帧提取的特征传递给不同的相邻帧；利用光流将关键帧特征传递并复用给当前帧的特征；目标分类和位置框预测；网络训练：每个感兴趣区域的损失函数为交叉熵损失与边界框回归损失的和。

主权项

1.一种基于深度特征和视频目标检测的安全帽佩戴检测方法，其特征在于，包括以下步骤：Step1视频数据采集基于施工现场摄像头采集的MP4格式的视频数据实现，数据采集的对象是施工现场佩戴或未佩戴安全帽的工作人员；Step2数据标注针对Step1采集的数据进行人工标注；人工将输入视频每一帧中的安全帽通过最小外接矩形标出，记录该图像在视频序列中的帧号，记录框中目标的类别，记录图片中最小外接矩形的左上角和右下角坐标；数据记录标注的格式与pascal voc格式相同；Step3数据集准备将原始视频按7:1:2的比例随机划分为训练集、测试集和验证集，以Step2中对应视频的标注图像数据分别替换训练集、测试集和验证集中的视频，替换时使用视频对应的所有标注视频帧替换原视频；最后的数据集组成包括划分后的训练集、测试集以及验证集，每一个集合中包含的是原始视频对应的图片，特别的训练集和验证集还包含每一张图片对应的标注数据。Step4网络构建和训练Step4‑1特征提取对输入视频中的关键帧提取特征，将关键帧提取的特征传递给不同的相邻帧；Step4‑2特征映射利用光流将关键帧特征传递并复用给当前帧的特征；Step4‑3目标分类和位置框预测对于Step4‑1提取的特征，使用区域建议网络(Region Proposal Network，RPN)生成候选区域，区域建议网络是一个全卷积网络，使用大小为3*3的卷积核遍历(滑动步长为1)提取的特征图。为每个滑动窗口的中心设计9种长宽组合，相应的产生9个大概率含有目标的预测框。使用2次卷积核大小为1*1，滑动步长为1的卷积操作来实现全连接，训练回归模型预测目标位置，训练分类模型判别目标类别。对于k个特征点，最终输出得到2k(背景+目标两类)个分类概率，4k个坐标数据(矩形框左上角顶点x，y坐标以及矩形框的长和宽)；在此基础上使用基于区域的全卷积网络检测物体(Region‑based Fully Convolutional Networks,R‑FCN)对候选区域进行分类；R‑FCN最后1个卷积层输出从整幅图像的卷积响应图像中分割出的感兴趣区域的卷积响应图像，即对R‑FCN的卷积响应图像按RPN的结果分割出来感兴趣区域；将单通道的感兴趣区域分成k×k的网格，对每个网格平均池化，然后所有通道再平均池化；在整幅图像上为每类生成k2(k2对应描述位置的空间网格数)个位置敏感分数图；对于待识别的物体类别数C外加1个背景，因此共有k2(C+1)个通道的输出层。Step4‑4网络训练每个感兴趣区域的损失函数为交叉熵损失与边界框回归损失的和，计算方法如公式(6)所示：其中，λ表示一个加权平均参数，S表示所有感兴趣区域的分类得分，表示某一个类的分类得分，c^*＞0表示感兴趣区域的真实标签为类别c，t和t^*代指t_{x，y，w，h}和t^*_{x，y，w，h},分别表示预测框和真实标注框的左上顶点的坐标值，宽和长。