[发明专利]一种刀闸开合状态的检测方法、介质及系统

权利要求书

1.一种刀闸开合状态的检测方法，其特征在于，包括：

获取待检测的刀闸和刀臂所在区域的激光点云数据和可见光图；

将所述激光点云数据投影得到稀疏深度图，并将所述可见光图与所述稀疏深度图对齐；

将所述可见光图和所述稀疏深度图输入到融合全局与局部深度信息的基于注意力机制的卷积神经网络后，输出稠密深度图；

从所述可见光图中确定所述刀闸和所述刀臂，并得到所述刀闸和所述刀臂在所述可见光图的图像坐标系中的二维坐标；

根据所述刀闸和所述刀臂的二维坐标以及所述稠密深度图中对应所述刀闸和所述刀臂的二维坐标的像素点的像素值，将所述刀闸和所述刀臂的二维坐标转换为三维坐标；

采用所述刀闸和所述刀臂的三维坐标计算所述刀闸和所述刀臂之间的空间距离；

若所述刀闸和所述刀臂之间的空间距离小于预设阈值，则确定所述刀闸闭合；

若所述刀闸和所述刀臂之间的空间距离不小于预设阈值，则确定所述刀闸断开；

所述卷积神经网络包括：可见光图像编码器、稀疏深度图像编码器、注意力网络和可见光解码器；所述输出稠密深度图的步骤，包括：

将所述可见光图输入到可见光图像编码器后，输出第一特征图、第二特征图和第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图的尺寸依次减小；

将所述稀疏深度图输入到稀疏深度图像编码器后，在所述第一特征图、所述第二特征图和所述第三特征图的引导下，输出第四特征图、第五特征图、第六特征图和第七特征图，其中，所述第四特征图、所述第五特征图、所述第六特征图和所述第七特征图的尺寸依次增大；

将所述第三特征图输入到注意力网络后，输出第八特征图；

将所述第八特征图、所述第四特征图、所述第五特征图和和所述第六特征图输入到可见光解码器后，输出第九特征图；

将所述第九特征图的置信度图采用softmax激活函数处理后与所述第九特征图的深度图逐像素相乘得到第一预测深度图；

将所述第七特征图的置信度图采用softmax激活函数处理后与所述第七特征图的深度图逐像素相乘得到第二预测深度图；

将所述第一预测深度图和所述第二预测深度图加和处理得到稠密深度图；

所述可见光图像编码器包括依次级联的第一降采样模块、第二降采样模块、第一非对称卷积模块、第三降采样模块、第二非对称卷积模块和第三非对称卷积模块，其中，所述第一降采样模块、所述第二降采样模块和所述第三降采样模块均包括两路并行且依次级联的第一卷积层和池化层，两个所述池化层后依次添加第一归一化层和第一ReLU激活函数层，所述第一非对称卷积模块、所述第二非对称卷积模块和所述第三非对称卷积模块均包括依次级联的两个非对称卷积子模块，每一所述非对称卷积子模块包括依次级联的第二卷积层、第二ReLU激活函数层、第三卷积层、第二归一化层和第三ReLU激活函数层；

所述第一降采样模块输出所述第一特征图，所述第二降采样模块输出所述第二特征图，所述第三非对称卷积模块输出所述第三特征图；

所述稀疏深度图像编码器由依次级联的第一沙漏型子网络和第二沙漏型子网络组成，其中，所述第一沙漏型子网络由依次级联的第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第一上采样反卷积层和第二上采样反卷积层组成，所述第二沙漏型子网络由依次级联的第四下采样卷积层、第五下采样卷积层、第三上采样反卷积层、第四上采样反卷积层和第五上采样反卷积层组成，所述第一下采样卷积层、所述第二下采样卷积层、所述第三下采样卷积层、所述第四下采样卷积层和所述第五下采样卷积层均由依次级联的第一预设步长的第一子卷积层和第二预步长的第二子卷积层组成，所述第一下采样卷积层、所述第二下采样卷积层、所述第三下采样卷积层、所述第四下采样卷积层和所述第五下采样卷积层输出的图均依次进行归一化处理和激活函数处理；

所述第三特征图与所述第三下采样卷积层输出的图的通道串联后输入所述第一上采样反卷积层，所述第二特征图与所述第一上采样反卷积层输出的图的通道串联后输入所述第二上采样反卷积层，所述第一特征图与所述第二上采样反卷积层输出的图的通道串联后输入所述第四下采样卷积层；

所述第一下采样卷积层输出所述第六特征图，所述第二下采样卷积层输出所述第五特征图，所述第三下采样卷积层输出所述第四特征图，所述第二上采样反卷积层输出所述第七特征图；

所述注意力网络由依次级联的空间注意力模块和通道注意力模块组成；

所述空间注意力模块包括并行的四路空间结构，第一路空间结构由依次级联的第一卷积层、第一变形层和第一转置层组成，第二路空间结构由依次级联的第二卷积层和第二变形层组成，第三路空间结构为第三变形层，第四路空间结构为第一像素相加层，所述第一转置层和所述第二变形层的下一级均级联第一图像相乘层，所述第一图像相乘层的下一级级联第一Softmax函数层，所述第一Softmax函数层和所述第三变形层的下一级均级联第二图像相乘层，所述第二图像相乘层的下一级依次级联第四变形层和所述第一像素相加层；

所述通道注意力模块包括并行的四路通道结构，第一路通道结构为第五变形层，第二路通道结构为第六变形层，第三路通道结构为依次级联的第七变形层和第三转置层，第四路通道结构为第二像素相加层，所述第六变形层和所述第三转置层的下一级均级联第三图像相乘层，所述第三图像相乘层的下一级级联第二Softmax函数层，所述第二Softmax函数层和所述第五变形层的下一级均级联第四图像相乘层，所述第四图像相乘层的下一级依次级联第七变形层和所述第二像素相加层；

所述可见光解码器由依次级联的第一通道串联层、第三卷积层、第一反卷积层、第二通道串联层、第四卷积层、第二反卷积层、第三通道串联层、第五卷积层和第三反卷积层组成；

所述第八特征图和所述第四特征图输入所述第一通道串联层，所述第五特征图输入所述第二通道串联层，所述第六特征图输入所述第三通道串联层。