[发明专利]煤矿人员行为检测方法、设备及存储介质

权利要求书

1.一种煤矿人员行为检测方法，其特征在于，包括：

获取待处理图像，并对所述待处理图像进行预处理，获得所述待处理图像对应的输入标记序列；

根据所述输入标记序列，基于注意力算法确定注意力输出矩阵，并根据所述注意力输出矩阵，生成特征图；

对所述特征图进行边界框回归处理，获得各边界框内煤矿人员的行为分类结果；

所述根据所述输入标记序列，基于注意力算法确定注意力输出矩阵，包括：

基于所述输入标记序列，根据互协方差注意力算法确定注意力输出矩阵；

所述根据所述注意力输出矩阵，生成特征图，包括：

将所述注意力输出矩阵与预设的分类序列进行拼接，获得拼接后的矩阵；

基于注意力算法对所述拼接后的矩阵进行处理，获得所述特征图；所述特征图包括分类信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行预处理，包括：

对所述待处理图像进行卷积处理，获得所述待处理图像对应的多个图像块；

将多个所述图像块依次经过预设数量卷积层的卷积处理，获得所述待处理图像对应的预设维度的嵌入向量；

确定多个所述图像块的位置编码，并将所述位置编码与所述嵌入向量进行叠加，获得所述待处理图像对应的输入标记序列。

3.根据权利要求1所述的方法，其特征在于，所述基于所述输入标记序列，根据互协方差注意力算法确定注意力输出矩阵，包括：

对所述输入标记序列进行线性投影变换，获得查询矩阵Query、权重矩阵Key和值矩阵Value；

将所述权重矩阵的转置矩阵与所述查询矩阵的转置矩阵相乘，并对相乘的结果进行Softmax操作，获得注意力权重矩阵；

将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，获得所述注意力输出矩阵。

4.根据权利要求3所述的方法，其特征在于，所述将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，获得所述注意力输出矩阵，包括：

将所述注意力权重矩阵与所述值矩阵的转置矩阵相乘，并将相乘获得的矩阵进行形状变换，获得所述注意力输出矩阵；所述注意力权重矩阵的形状与所述输入标记序列的形状相同。

5.根据权利要求4所述的方法，其特征在于，所述对所述特征图进行边界框回归处理，获得各边界框内煤矿人员的行为分类结果，包括：

对所述特征图进行池化处理，从所述特征图的特征金字塔中提取至少一个感兴趣区域的图像特征；

针对每个感兴趣区域的图像特征，确定所述感兴趣区域的候选框，基于双线性差值算法将所述候选框转换为固定尺寸，获得转换后的候选框，对所述转换后的候选框进行回归处理，获得所述感兴趣区域的边界框以及对应的行为分类结果。

6.一种煤矿人员行为检测设备，其特征在于，包括：

预处理模块，用于获取待处理图像，并对所述待处理图像进行预处理，获得所述待处理图像对应的输入标记序列；

生成模块，用于根据所述输入标记序列，基于注意力算法确定注意力输出矩阵，并根据所述注意力输出矩阵，生成特征图；

后处理模块，用于对所述特征图进行边界框回归处理，获得各边界框内煤矿人员的行为分类结果；

所述生成模块，具体用于基于所述输入标记序列，根据互协方差注意力算法确定注意力输出矩阵；还具体用于将所述注意力输出矩阵与预设的分类序列进行拼接，获得拼接后的矩阵，基于注意力算法对所述拼接后的矩阵进行处理，获得所述特征图；所述特征图包括分类信息。

7.一种煤矿人员行为检测设备，其特征在于，包括：视觉传感器、至少一个处理器和存储器；

所述存储器存储计算机执行指令；所述视觉传感器与所述至少一个处理器连接，用于获取所述待处理图像；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的煤矿人员行为检测方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的煤矿人员行为检测方法。