[发明专利]基于深度学习和引导滤波的装配体图像分割方法及设备

说明书

本发明涉及基于深度学习和引导滤波的装配体图像分割方法，包括如下步骤：S1、建立包括若干个装配体图像的数据集；S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；S3、利用数据集迭代训练所述语义分割模型；S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割图像。本发明通过融合所述第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力。引导滤波器模块根据引导图像优化分割图的分割边缘，进一步加强装配体中各尺度零部件的分割效果。

技术领域

本发明涉及基于深度学习和引导滤波的装配体图像分割方法及设备，属于图像处理领域。

背景技术

目前制造业迎来了大批量个性化定制的生产时代。产品类型多变的生产模式使产品的装配生产线也不断发生重组，这增加了工人的装配难度，容易出现装配顺序错误、漏装、错装等现象。然而一旦未能及时的监测出装配过程中发生的这些错误，将会直接影响产品的质量和装配效率，会在后续的装配过程中浪费时间和金钱。通过语义分割对机械装配体深度图像进行分割，对分割后的图像进行分析，可识别已装配的零部件，并监测漏装、错装、装配顺序错误等。这不仅提高了产品装配质量和效率，避免返工，这也为企业的生产降低了成本。

语义分割是对图像进行和像素级分类，分为两大类：1、基于人工特征提取方法和基于深度学习的方法，需要人为设计合理的特征提取算法，以对图像特征进行提取。这不仅要求人员有很强的专业素养和先验知识，而且面对不同的任务，特征提取算法往往大不相同。这不仅会造成算法通用性差，效率降低，而且会耗费大量的人力物力，增加成本。2、基于深度学习方法的语义分割技术，可以自动学习特征，不需要设计复杂的特征算法，但是在机械装配体领域中，由于缺乏公用的数据集，机械产品结构复杂，机械类装配体上含有大量的小零件(如细轴、螺栓等)且相互遮挡严重等原因，造成了小零件分割差和分割图像边缘模糊等问题。然而小零件的识别对于装配体的重建和监测非常关键，同时零件边缘轮廓的清晰度也会影响装配体位置的计算。

公开号为CN112288750A的专利《一种基于深度学习网络的机械装配体图像分割方法和设备》公开了：通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型；利用编码器网络中进行特征提取，获取高信息质量的特征图；利用解码器网络恢复图像大小并进行特征融合，得到多维分割图；根据多维分割图与对应的标签图像之间的误差，更新编码器网络中的参数。该方案的缺点在于并未考虑不同物体具有不同的尺度空间，导致对于小尺度的物体分割性能较差。

发明内容

为了解决上述现有技术中存在的问题，本发明提供基于深度学习和引导滤波的装配体图像分割方法，通过融合所述第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力；尤其是，加强了语义分割模型对小零件的学习能力。

本发明的技术方案如下：

技术方案一：

基于深度学习和引导滤波的装配体图像分割方法，包括如下步骤：

S1、建立包括若干个装配体图像的数据集；

S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；

S3、利用数据集迭代训练所述语义分割模型；

S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割结果：

特征提取模块对待分割装配体图像进行若干次卷积操作、若干次非线性转换和若干次最大池化操作，得到若干个不同尺度的第一特征图；