[发明专利]一种基于数字孪生的铆接质量图像检测方法

权利要求书

1.一种基于数字孪生的铆接质量图像检测方法，其特征在于，包括以下步骤：

(1)设计铆接质量图像检测孪生系统的总体方案，建立铆接质量图像检测系统的数字孪生模型；

(2)建立双向数据传输通道，机械臂的位姿数据通过该通道实时同步至其数字孪生模型，而在电脑端对数字孪生模型的运动控制指令通过该通道下达至机械臂实体，从而实现机械臂数字孪生模型与实体的实时联动；

(3)根据铆接位置布局与机械臂参数，对机械臂进行位姿控制、轨迹规划，使机械臂带动工业相机运动到适当位置，从而实现铆接头图像的采集；

(4)对采集的图像进行图像处理，突出被测铆接头特征信息，以便卷积神经网络进行训练与测试；

(5)将处理后的图片集导入卷积神经网络进行训练与测试。

2.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，铆接图像检测孪生系统包括被测样件、工业相机、机械臂、电脑、工作台。

3.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，通过在Hierarchy面板中拖拽各关节节点，生成模型树，从而建立关节间父子关系，采用3×3旋转矩阵来表示机械臂末端姿态，并基于刚体的移动与转动推导出机械臂位姿的齐次坐标变换矩阵，从而在ros平台下对机械臂的各个关节进行python脚本程序编写，实现输入指定位姿点就可以计算出各关节位置信息，并通过双向数据传输通道传至电脑端，从而实现数字孪生模型的实时更新。

4.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，为保证机械臂实体与孪生模型间的通讯，采用TCP/IP传输协议，TCP/IP信息传输协议规定了互联网各部分之间的通信标准和方法，通过TCP/IP传输协议将虚拟仿真系统指令按照指定的格式发送到机械臂控制器，指导机械臂的各关节运动。

5.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，为保证图像检测的准确性，采集照片时相机需始终垂直于待测铆接平面且焦点位于待测铆接中心的正上方，根据待测零件的铆接位置分布，确定相机测量点的空间坐标，代入遗传算法,解得最优路线，从而完成相机的运动路径规划，再将相机运动路径进行离散化，得到各离散点坐标，代入逆运动学方程，解得各个关节位置，最终完成对机械臂的轨迹规划。

6.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，将已采集图片中的待测铆接部分使用Matlab软件的机器视觉工具箱手动标记为感兴趣区域，将标记后图像代入Alexnet神经网络进行训练，最终计算机能够自主识别出待测铆接部分并裁剪，从而减少图片中的待处理信息，提升程序运行速度。

7.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，为移除采集的图像中存在的噪点等多余特征信息，对图像进行灰度变换、高斯滤波、基于ostu的阈值分割、形态学处理、canny算子边缘提取等处理，最终提取出铆钉头的边缘曲线。

8.根据权利要求1所述的一种基于数字孪生的铆接质量图像检测方法，其特征在于，分别用标签标记出合格铆接头图像与不合格铆接头图像，将其代入卷积神经网络进行训练、识别，最终实现铆接的质量检测。