[发明专利]一种基于深度学习的复杂多目标集成开关控制板状态校验方法

摘要

本方法将深度学习目标检测、模糊坐标修正与弹性坐标矩阵的建立相结合，提出一种基于深度学习的复杂多目标集成开关控制板校验方法。该方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。

主权项

1.一种基于深度的复杂多目标集成开关控制板状态校验方法主要包含客户端和服务器端两个部分。其中，客户端负责图像数据采集和上传、坐标矩阵的生成和校验，服务器端负责图像中开关的检测。执行流程包括如下步骤：/n步骤(1)、拍摄或选择集成开关控制板图像；/n步骤(2)、客户端将收集到的图像进行压缩后通过socket通信发送到服务器，当服务器监听到端口有数据输入时，将接收到的数据保存为本地图像；/n步骤(3)、训练得到的神经网络模型对图像进行解析，将其输出中目标的分类和边框坐标以字符串的形式发送回客户端；/n步骤(4)、客户端将收到的字符串进行分解，得到多个包含开关状态和边框坐标的对象；/n步骤(5)、遍历所有对象，找出所有对象中纵坐标最小的一个作为一个基准点，并计算所有边框的平均高度，以此平均高度为度量，从上述基准点开始向左找出相邻左面的开关对象，然后再将此开关作为新的基准继续向左找直至到最左面一列，右面的开关类似，最后得到最上方的一整行开关；/n步骤(6)、遍历(5)中得到的一行开关，将所有对象按照横坐标的大小排序；/n步骤(7)、在(6)中得到的列表中从第一个开关开始遍历，每个都从所有的开关中找到下方的第一个，然后以下方的开关为基准继续迭代直至这一列的最后一个；/n步骤(8)、经过步骤(5)、(6)、(7)便可得到一个矩阵，此矩阵中每一个位置都对应着一个开关，以此实现集成开关控制板上开关相对坐标图的生成；/n步骤(9)、不同开关状态的控制板图像会生成不同的开关矩阵，比较两个矩阵的不同就可以判断出哪些位置上的开关处于不同状态，将这些状态不同的开关的边界框的坐标在图像中画出来，就可以直观的判断两张图像中有哪些开关处于异常状态。/n