[发明专利]一种多通道平面信息检测方法、系统及装置

权利要求书

1.一种多通道平面信息检测方法，其特征在于，对应每条流水线分别安装图像获取模块，各图像获取模块相互独立工作，并分别通过网络与设备管理单元连接，进而以分布式联网方式由所述设备管理单元集中管理；则所述方法包括：

通过所述设备管理单元，对各流水线上的图像获取模块进行参数设置；

各图像获取模块分别采集对应流水线上产品的平面图像，并进行图像反馈；

根据对应流水线上待检测产品平面种类是否相同，选择相应的图像识别方式；其中，当流水线上为同种类待检测产品平面时采用可控图像识别方式，当流水线上为不同种类待检测产品平面时采用不可控图像识别方式；

利用选择的图像识别方式对采集到的所述平面图像进行识别，提取相应产品的平面信息；其中，所述平面信息包括产品表面的瑕疵信息、真伪信息、颜色信息、条码信息、字符信息和产品几何信息中的一项或多项；所述可控图像识别方式预先指定检测区域，检测过程包括区域内容识别，所述不可控图像识别方式的检测过程包括区域目标检测和区域内容识别；

对于每个平面图像，将提取到的所述平面信息与相应的基准信息进行相似度比对，判断对应的产品是否合格；其中，所述基准信息来自本地数据库或信息管理模块；

其中，在不可控图像识别中，对每个产品进行图像采集之前先基于流水线上已通过产品的尺寸计算平均尺寸，并根据该平均尺寸动态调整图像获取模块的采集范围，调整完成后利用所述图像获取模块采集产品的平面图像。

2.根据权利要求1所述的多通道平面信息检测方法，其特征在于，对于任一流水线，当选择可控图像识别方式进行图像识别时，所述对采集到的所述平面图像进行识别，提取相应产品的平面信息，具体包括：

设置产品的基准模板图像，在所述基准模板图像上使用一个或多个矩形框框选出关键信息的几何位置，并指定各矩形框的检测对象类型；其中，所述检测对象包括瑕疵、真伪、颜色、条码、字符和产品实体中的一种或多种；

每识别一张平面图像后，计算当前图像与所述基准模板图像的水平位移和垂直位移，重新定位关键信息的几何位置；

根据各矩形框对应的检测对象，分别采取相应的检测方式从各矩形框提取平面信息；

将提取到的平面信息结果合并后输出。

3.根据权利要求1所述的多通道平面信息检测方法，其特征在于，对于任一流水线，当选择不可控图像识别方式进行图像识别时，所述对采集到的所述平面图像进行识别，提取相应的平面信息，具体包括：

对原始SSD神经网络进行修改，并利用修改的SSD神经网络检测识别出所述平面图像中的各检测区域；其中，所述检测区域包括瑕疵区域、真伪区域、颜色区域、条码区域、字符区域和产品实体区域中的一项或多项；

根据识别出的各检测区域，分别采取相应的检测方式从不同检测区域提取平面信息；

将提取到的平面信息结果合并后输出；

其中，所述原始SSD神经网络基于VGG16搭建，并且在VGG16网络后面额外增加卷积神经网络用于提取图像的多尺度特征。

4.根据权利要求3所述的多通道平面信息检测方法，其特征在于，所述对原始SSD神经网络进行修改具体为：

将原始SSD神经网络中conv6_2之后的卷积层去掉；

修改defaultbox的尺度变换为矩形或正方形；

根据所述平面图像中所包含平面信息的种类数，修改输出层的层数。

5.根据权利要求1所述的多通道平面信息检测方法，其特征在于，对于每个平面图像，均框选出一个或多个包含关键信息的检测区域，则所述将所述平面信息与相应的基准信息进行相似度比对，判断对应的产品是否合格，具体为：

分别针对每个检测区域设置基准信息的数据源和相似度阈值；其中，所述数据源为固定内容、流水号增量或信息存储位置；

对于每个平面图像，分别针对每个检测区域计算所述平面信息与所述数据源对应基准信息的相似度；

其中，对于每个平面图像，如果存在任一检测区域的相似度低于对应的相似度阈值，则判断相应的产品为不合格；如果每个检测区域的相似度都满足相似度阈值，则判断相应的产品为合格。