[发明专利]施工场景中安全帽佩戴情况的检测及描述方法

权利要求书

1.一种施工场景中安全帽佩戴情况的检测及描述方法，其特征在于：包括以下步骤：

S1：数据集的制作；

通过网络爬虫技术搜集图片或自行现场采集图片的方式对施工现场场景展开数据集的图像采集工作；所采集的数据囊括各种背景条件、不同分辨率和不同质量的施工场所关于安全帽佩戴的图片，图片中含有佩戴安全帽的施工人员和未佩戴安全帽的施工人员，将采集的所有图片作为安全帽佩戴数据集；安全帽佩戴数据集的制作包括：安全帽佩戴检测数据集制作以及安全帽佩戴图像字幕数据集制作；

S2：目标检测；

S2.1：检测模型的选择，从算法的检测速度和检测精度两方面综合考虑，选取YOLOv3作为施工场景中是否佩戴安全帽的判断及描述模型；

S2.2：自制数据集预处理，对步骤S1中自制的安全帽佩戴数据集的标注信息进行归一化处理，转换成YOLOv3可用的训练格式；

S2.3：K-means聚类初始化锚框；

在步骤S2.2归一化后的安全帽佩戴数据集上进行K-means聚类算法初始化锚框，用以预测边界框的坐标；

S2.4：网络模型的训练；

首先对标注目标坐标信息进行定位，然后对标注目标边界框置信度进行预测，以及对预定义目标类别的得分进行预测，最后将未标注测试图片送入训练好的目标检测网络模型中，若检测目标的得分大于设定阈值则框出图像中检测到的目标及输出目标得分，否则无法检测出图像中的目标；

S2.5：网络测试

首先将输入图片大小重置为416×416，然后利用Darknet-53网络进行图片特征的提取，接着将特征向量送至特征金字塔结构中进行多尺度预测，最后对预测出的边界框进行非极大值抑制，以消除重复检测得到最终的预测结果；

S3：语句生成；

首先利用目标检测算法检测出图像中的视觉概念，其次结合预先定义的规则和句子模板，然后将检测到的视觉概念填充到句子模板中，最后生成安全帽佩戴的描述语句；

步骤S1中安全帽佩戴数据集的制作具体包括：

S1.1：安全帽佩戴检测数据集制作；

按照Pascal VOC2007公共数据集的标注格式使用开源标注工具LabelImg对图片样本进行多标签标注，自动生成相应的xml格式标注文件，其中包含对象名和真实边界框的坐标信息；标注的目标类别为：人、安全帽以及人戴安全帽；

S1.2：以及安全帽佩戴图像字幕数据集制作；

对步骤S1.1标记过的数据集进行语句标注，采用自编程标注软件和人工标注相结合的方式，字幕数据集标注分为：

S1.2.1：利用自编程标注软件，读取每张图片的名称以及尺寸信息，并赋予每张图片唯一的图片id号；

S1.2.2：使用自编程标注软件对图片进行字幕标注，人工标注每张图片的5个描述语句，主要围绕施工场景中人员的安全帽佩戴进行描述，并对每个语句赋予唯一的语句id号；每张图片均有与之对应的图片id号，以及相应的5个语句id号，以json格式存储图片字幕标注数据；

步骤S3中句子描述规则和模板的定义方法具体包括：

S3.1：句子描述规则的定义

依据前阶段目标检测中提取的人、安全帽和佩戴安全帽的人3类目标的视觉概念；通过对3类待检测目标分别设置一个初值均为零的三元组(m,n,p)以统计待检测目标的个数，其中m表示检测出的总人数，n表示检测出的安全帽的总个数，p表示检测出的佩戴安全帽的人数；当0≤p≤m时，佩戴安全帽的人员应不超过施工现场的总人数，否则当pm时视为监测有误，无法生成安全帽佩戴的描述语句；若检测出的佩戴安全帽的人数和总人数相等，即p＝m则表示所有人均佩戴了安全帽；若检测出的佩戴安全帽的人数和总人数不等，即p≠m，则表示部分人佩戴了安全帽，尚有人员未佩戴安全帽；

S3.2：句子描述模板的定义

句子描述模板通过图片字幕标注生成，单词的生成来源于原始的图片字幕标注或是目标检测算法提取出的视觉概念；视觉单词的本质是一个标记，目的是为描述图像中特定区域的单词保留空位；采用目标检测算法以提取出视觉概念，结合基于规则和模板的方法，生成施工场景中施工人员安全帽佩戴的图像描述语句。