[发明专利]一种基于深度学习的复杂多目标集成开关控制板状态校验方法

说明书

本方法将深度学习目标检测、模糊坐标修正与弹性坐标矩阵的建立相结合，提出一种基于深度学习的复杂多目标集成开关控制板校验方法。该方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。

技术领域

本发明涉及物联网、基于深度学习的开关识别与分类、目标定位、模糊坐标修正、并发执行和缓存技术，具体涉及到一种基于深度学习的复杂多目标集成开关控制板状态校验方法。

背景技术

深度学习的飞速发展极大地推动了目标检测的进步，卷积神经网络对于目标的几何变换、形变、光照等因素适应性较强，有效克服了由于拍摄形变带来的识别阻力，具有较高的灵活性和普适性。目前图像中的目标检测主要分为single-stage方法(如SSD,YOLO)和two-stage方法(如RCNN系列)两种。Single-stage方法直接在图片上经过计算生成检测结果。Two-stage方法先在图像上提取候选区域,再基于候选区域进行特征提取然后再进行预测。相对来说single-stage速度快,精度低，而two-stage精度高,速度慢。

在集成开关控制板往往十分复杂而且开关总数较多，肉眼检测十分费时且容易遗漏。通常来说，尽管single-stage方法检测速度较快，但是在目标较多或者错在众多小目标的图像中表现却不尽如人意。2013年出现的RCNN作为深度学习中基于候选框进行目标检测的先驱，把机器学习算法与深度学习有机的结合在一起。在区域候选的生成中算法中，提出了等经典算法，继而出现了RCNN的一系列变形：SPP Net、Fast RCNN、Faster RCNN。FasterRCNN的检测速度与检测效果比其他网络都要好。

现阶段，我们可以利用Faster RCNN检测行人、水果等形状物体，实现目标的检测，而没有解决如何将图像中各个目标的相对位置实现精准描述的问题。

发明内容

为解决现有技术中的缺点和不足，本方法将深度学习目标检测、模糊坐标修正与弹性坐标矩阵的建立相结合，提出一种基于深度学习的复杂多目标集成开关控制板校验方法。该方法利用深度学习目标检测技术实现控制板上开关的识别以及单个开关的状态分类；利用图像中开关的某一特征作为衡量目标距离的一个度量，解决由于拍摄远近不同而导致的目标大小及相互之间距离有像素级差距的问题；设置一个弹性阈值，用以判断一个目标跟其周围坐标的相对位置，构建开关状态矩阵；将图像中每一个目标的坐标都用其周围坐标来确定，即使拍摄倾斜角度较大也能准确定位目标在整个开关状态矩阵中的位置，使得算法的稳定性得到大大提升。

本发明的技术方案为：

步骤(1)、拍摄或选择集成开关控制板图像；

步骤(2)、客户端将收集到的图像进行压缩后通过socket通信发送到服务器，当服务器监听到端口有数据输入时，将接收到的数据保存为本地图像；

步骤(3)、训练得到的神经网络模型对图像进行解析，将其输出中目标的分类和边框坐标以字符串的形式发送回客户端；

步骤(4)、客户端将收到的字符串进行分解，得到多个包含开关状态和边框坐标的对象；

步骤(5)、遍历所有对象，找出所有对象中纵坐标最小的一个作为最上面一行的一个基准点，并计算所有边框的平均高度，以此平均高度为度量，从上述基准点分别向两侧寻找同一行的相邻开关，以获取到的新的开关位置为新的基准继续向两侧寻找直至两端，得到最上方的一整行开关；

步骤(6)、遍历(5)中得到的一行开关，将所有对象按照横坐标的大小排序；