[发明专利]基于视频图像的煤矿监管方法、系统、设备及存储介质

权利要求书

1.一种基于视频图像的煤矿监管方法，其特征在于，包括：

通过第一采集模块采集进入煤矿入口的目标人员的图像信息，并将所述目标人员的图像信息通过网关服务器传输到中央处理服务器，所述目标人员的图像信息包括目标人员的人脸信息；

通过第二采集模块采集煤矿内行人的视频信息，并将所述行人的视频图像信息通过所述网关服务器传输到所述中央处理服务器；

所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；

所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域；

所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服,包括：

采用图像匹配算法将所述目标人员的图像信息与预先设定的比对图像进行特征点匹配，得到特征点匹配比率值；其中，所述比对图像为所述劳保服的标准穿戴示意图；

根据所述特征点匹配比率值判断所述目标人员是否穿戴劳保服；

所述根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内的步骤包括：

根据所述劳保服的标识信息从预先设定的脸部特征模型表中获取与所述劳保服的标识信息一一对应的煤矿内授权用户的脸部特征模型；

将所述目标人员的人脸信息与所述煤矿内授权用户的脸部特征模型进行匹配，得到匹配结果；

当所述匹配结果为匹配成功时，允许所述目标人员进入煤矿内；

当所述匹配结果为匹配失败时，不允许所述目标人员进入煤矿内并发出第一告警信息；

所述中央处理服务器包括预训练的第一检测模型和第二检测模型，所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入预设的煤矿危险区域，包括：

通过所述第一检测模型对所述煤矿内行人的视频信息进行行人检测，得到第一检测框集合；

通过所述第二检测模型从所述煤矿内行人的视频信息中提取目标行人的特征信息；

通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框；

基于所述目标行人的目标检测框对目标人员进行跟踪，判断对应的目标行人是否进入预设的煤矿危险区域，并发出第二告警信息

所述预设的匹配算法包括匈牙利算法，所述通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框包括：

将所述目标行人的特征信息和所述第一检测框集合进行图结构处理，得到图结构联合数据；

通过所述匈牙利算法对所述图结构联合数据进行匹配，得到目标行人的目标检测框

所述第一检测模型和所述第二检测模型通过残差卷积、标准卷积和通道混合算法构建，并通过对应的训练数据集进行预训练；

所述中央处理服务器还包括预训练的第三检测模块，所述第三检测模块包括特征提取单元、融合单元以及预测单元，所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域包括：

间隔一定时间从所述行人的视频信息中抽取一帧图像，抽取多帧图像作为检测数据集；

分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入所述第三检测模型的特征提取单元，得到对应多组特征向量并通过所述融合单元进行组内特征融合，得到多组融合特征；

将所述多组融合特征输入所述预测单元对所述视频信息进行危险区域预测，检测出潜在的煤矿危险区域；

每隔10秒从行人的视频信息中抽取一帧图像，并以每组两帧、三帧，从检测数据集中任意抽取对应多帧图像组成对应多组检测数据子集；然后将每组检测数据子集中的每帧图像按时间依次输入特征提取单元，通过卷积神经网络CNN从中提取出每组检测子集的特征向量，并通过所述融合单元的多层感知机MLP进行组内特征融合，得到对应多组融合特征；两帧检测数据子集的融合得到的融合特征，采用以下公式表示：

其中，其中、代表视频中的第i、j帧通过卷积神经网络CNN后输出的特征向量，函数h和g表示分别具有参数φ和θ的多层感知机MLP，表示通过融合单元融合了两帧检测数据子集的融合特征；三帧检测数据子集的融合得到的融合特征，采用以下公式表示：

其中，其中、、代表视频中的第i、j、k帧通过卷积神经网络CNN后输出的特征向量，函数和表示分别具有参数φ和θ的多层感知机MLP，表示通过融合单元融合了三帧检测数据子集的融合特征；

最后，基于融合单元对各组检测数据子集的融合结果，即多组融合特征，预测单元通过复合函数对图像中的活动和行为进行识别和预测；其中表示通过融合单元融合了两帧检测数据子集的融合特征，表示通过融合单元融合了三帧检测数据子集的融合特征，表示通过融合单元融合了N帧检测数据子集的融合特征。