[发明专利]一种基于数字孪生的铆接质量图像检测方法

说明书

本发明公开了一种基于数字孪生的铆接质量图像检测方法，包含以下步骤：(1)设计铆接质量图像检测孪生系统的总体方案，建立铆接质量图像检测系统的三维模型；(2)建立双向数据传输通道，实现机械臂三维模型与实体的联动；(3)结合铆接位置布局与机械臂参数对机械臂进行位姿控制、轨迹规划；(4)对采集的图像进行处理；(5)使用卷积神经对图片进行训练与测试。本发明通过建立铆接质量图像检测系统的三维模型结合双向数据传输通道，实现对机械臂实体的远程控制，通过对其进行的位姿控制与轨迹规划，实现对铆接头的图像采集，对其通过卷积神经网络进行训练与测试最终实现铆接质量检测。

技术领域

本发明属于视觉检测领域，特别涉及一种基于数字孪生的铆接质量图像检测方法。

背景技术

在飞机装配过程中，壁板组件装配是至关重要的环节之一。由蒙皮、长桁铆接形成的壁板组件作为一种典型的薄壳结构，在机身、机翼等飞机结构中应用广泛。壁板组件既是主要的承力构件，也是构成飞机气动外形的重要组成部分，其装配精度直接影响后续不见装配及总装的质量和效率，而铆钉连接作为其装配的重要连接方式，铆接质量将很大程度影响到装配精度。而且，飞机的各种故障中，机体损伤的故障数量占总故障数量的30％以上，而机体损伤的故障中有75％～80％都是机体结构的连接部位发生疲劳破坏引起的，因此，保证机体的铆接质量对于提高飞机装配质量、延长飞机寿命尤为重要。

现阶段的专利公开以及文献资料显示：1)一种飞机气动铆接质量在线检测装置及检测方法(CN201710122247.4)，其检测装置包括底座、顶铁、夹紧螺栓、传感器系统、铆接板、铆钉、数据处理系统。通过调整丝杆螺栓实现仿真板夹紧和放松，利用传感器对于铆接信号的实时采集，数据文件传输到上位机进行结果分析和评价，在显示平台上显示出铆接的基本过程、铆接质量评价结果和针对性指导反馈，该方法必须在铆接过程中全程采集铆接质量信息，而无法对已铆接部分进行检测，适用性较差；2)一种用于新能源汽车车身的自冲铆接质量检测装置和方法(CN202011397098.0)，通过力传感器和位移传感器记录自冲铆接过程的冲压力和位移大小，检测设备根据输入设备的输入铆接类型特征，和力传感器、位移传感器记录的曲线特征，利用深度学习算法计算并在输出显示设备上输出检测结果，该方法只考虑了力与位移间关系，而忽略了环境因素、材料因素、被铆件状态因素等，测量结果可靠性不高；3)一种便携式铆接质量检测装置及其监测方法(CN201910137510.6)通过数据采集系统进行数据采集，在未知油缸两腔面积情况下可以准确的测得油缸双侧面积，进而对铆接质量进行判断，该方法通过压力传感器、力传感器、流量计等多个测量元件进行测量，当温度等环境因素变化时测量结果会有较大波动，不确定性误差较大。综上，现有研究成果和方法在铆接质量检测方面仍存在缺陷，难以满足当今铆接质量检测的精度要求与效率要求。

本发明将数字孪生技术与机器视觉检测技术这两种新兴技术结合，可以对已完成铆接的部分进行图像采集从而完成质量检测，同时由于图像中包含的信息资源较为丰富，测量结果的可靠性较高；由于图像采集系统的光源布置是固定的，因此外界光照变化对测量系统的影响较小，测量的不确定性误差较小。因此，本方法能够满足当今铆接质量检测的效率要求、精度要求。

发明内容

本发明提出一种基于数字孪生的铆接质量图像检测方法，结合数字孪生技术与机器视觉测量技术，将其应用于铆接质量检测，能够实时同步地表征检测系统的运作状态，通过孪生模型与实体间的信息交互实现虚拟模型的实时更新，并通过软件实时模拟出相机视角，便于对机械臂的运动轨迹进行规划，最后应用机器视觉技术对铆接质量进行检测，解决了现有技术对铆钉头位于骨架内侧的铆接质量检测困难的问题。

为实现上述目的，本发明采用的技术方案是：

一种基于数字孪生的铆接质量图像检测方法，包括以下步骤：

(1)确定铆接图像检测孪生系统的组成，系统包括被测样件、工业相机、机械臂、电脑、工作台。