[发明专利]一种多模态融合的铺丝机复合材料表面缺陷检测系统

说明书

本发明公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。多模态神经网络数据加载模块导入用于多模态神经网络算法训练模块所需要的训练数据，包含两种类型：图像类型数据和点云类型数据，生成算法模块训练所需的格式化数据。多模态神经网络算法训练模块以格式化图像数据和点云数据作为输入，训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。本发明能够满足实际飞机复合材料生产精度的检测效率和检测精度，具有高效、可靠等优势。

技术领域

本发明涉及航空制造机器视觉检测领域，具体涉及一种多模态融合的铺丝机复合材料表面缺陷检测系统。

背景技术

目前全球飞机制造仅有少数厂商可以批量化生产，而新一代的飞机材料将逐步采用复合材料替代传统材料，从目前的趋势看，飞机上大量采用复合材料是一种趋势，最近几年出现的新型飞机，普遍都采用了大面积的复合材料来制造，其目的就是为了减重，同时复合材料的可设计性好，复合材料的性能和构成方式，决定了它可以在制造过程中根据构件最终形态的需求来制造出复杂的三维曲线型面。

目前国外引进的复合材料铺丝机在自动铺放过程铺层表面质量及切口表面形貌质量方面的检测，仍然依靠人工目测，不仅检测效率低，而且检测误差大，严重影响了复材零部件的制造效率，因此急需借助机器视觉检测技术进行自动化智能检测。

发明内容

本发明为解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测，提供了一种多模态融合的铺丝机复合材料表面缺陷检测系统，以实现复合材料铺丝机铺丝质量的自动化检测需求。

为实现上述目的，本发明采用以下技术方案：

一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；

多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据(正样本)和80％的缺陷数据(负样本)。

为优化上述技术方案，采取的具体措施还包括：

进一步地，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112×112)，点云数据进行抽稀(约20000个点左右)，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。

进一步地，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。

进一步地，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。

进一步地，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成N×M维矩阵，其中N表示输入材料点云数据，M表示缺陷种类数量，包含无缺陷类型。

进一步地，解码器包含三个SL模块，每个模块包含一个插值层和一个卷积层；