[发明专利]煤矿人员行为检测方法、设备及存储介质

说明书

本申请实施例提供一种煤矿人员行为检测方法、设备及存储介质，该方法包括获取待处理图像，并对待处理图像进行预处理，获得待处理图像对应的输入标记序列，根据输入标记序列，基于注意力算法确定注意力输出矩阵，并根据注意力输出矩阵，生成特征图，对特征图进行边界框回归处理，获得各边界框内煤矿人员的行为分类结果。本申请实施例通过对待处理图像进行全局图像处理，相对于仅提取人体节点信息来说，包括了更多的细节信息的特征，使得输出的煤矿人员的行为分类结果更加准确，并且通过采用边界框回归算法，能够对图像中多个人员的行为分别同时进行检测，得到各边界框内人员分别对应的行为分类结果，保证了检测结果的全面性。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种煤矿人员行为检测方法、设备及存储介质。

背景技术

随着视频数据处理能力的提高和计算机视觉技术的发展，对煤矿智能视频监控系统的性能要求越来越高。通过煤矿智能视频监控系统可以对煤矿生产现场进行实时监控，尽早发现不安全工作因素，保证煤矿生产环境的安全。

在现有技术中，煤矿智能视频监控系统可以采用基于深度学习的关键点检测方法，提取煤矿人员的人体节点信息，并基于该节点信息实现对煤矿人员行为的检测。

然而，实现本申请过程中，发明人发现现有技术中至少存在如下问题：现有的行为检测方案中，仅是基于提取的人体节点信息进行煤矿人员的行为检测，数据基础较单薄，对于人员行为类型复杂多样的情况，行为检测结果的准确性较低。

发明内容

本申请实施例提供一种煤矿人员行为检测方法、设备及存储介质，以提高煤矿人员行为检测的准确性。

第一方面，本申请实施例提供一种煤矿人员行为检测方法，包括：

获取待处理图像，并对所述待处理图像进行预处理，获得所述待处理图像对应的输入标记序列；

根据所述输入标记序列，基于注意力算法确定注意力输出矩阵，并根据所述注意力输出矩阵，生成特征图；

对所述特征图进行边界框回归处理，获得各边界框内煤矿人员的行为分类结果。

在一种可能的设计中，所述对所述待处理图像进行预处理，包括：

对所述待处理图像进行卷积处理，获得所述待处理图像对应的多个图像块；

将多个所述图像块依次经过预设数量卷积层的卷积处理，获得所述待处理图像对应的预设维度的嵌入向量；

确定多个所述图像块的位置编码，并将所述位置编码与所述嵌入向量进行叠加，获得所述待处理图像对应的输入标记序列。

在一种可能的设计中，所述根据所述输入标记序列，基于注意力算法确定注意力输出矩阵，包括：

基于所述输入标记序列，根据互协方差注意力算法确定注意力输出矩阵。

在一种可能的设计中，所述基于所述输入标记序列，根据互协方差注意力算法确定注意力输出矩阵，包括：

对所述输入标记序列进行线性投影变换，获得查询矩阵Query、权重矩阵Key和值矩阵Value；

将所述权重矩阵的转置矩阵与所述查询矩阵的转置矩阵相乘，并对相乘的结果进行Softmax操作，获得注意力权重矩阵；

将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，获得所述注意力输出矩阵。

在一种可能的设计中，所述将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，获得所述注意力输出矩阵，包括：

将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，并将相乘获得的矩阵进行形状变换，获得所述注意力输出矩阵；所述注意力权重矩阵的形状与所述输入标记序列的形状相同。