[发明专利]一种基于图像边界提取的飞机蒙皮铆钉的测量方法

权利要求书

1.一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，包括：

步骤S1、基于结构光相机获取整机的蒙皮铆钉区域的蒙皮铆钉图像及其对应的点云；

步骤S2、训练边界提取网络，获得铆钉边界图像，包括：

步骤S201、收集飞机蒙皮铆钉区域图片并人工进行铆钉像素区域的标注，利用其训练基于改进VGG16的边界提取网络；

所述基于改进VGG16的边界提取网络，其使用交叉熵损失函数：

其中，y_i表示得到的边缘概率值，高于μ的像素为正样本，等于0的为负样本；

引入超参数ρ平衡正负样本：

其中Y⁺,Y^-代表正负样本；

其中每个3x3的卷积层后，使用1x1的卷积来降低通道数，分别降低为16/64通道；

然后ewp层执行element-wise product用来拼接通道；

Deconv层执行反卷积操作对获得的特征图进行上采样；

生成边缘概率，对于每个像素点，边缘强度在[0,1]之间；

输出的结果为每个像素的边缘强度；

步骤S202、把多视角整机测量数据输入基于改进VGG16的边界提取网络，获得边界强度；

步骤S203、设定阈值对边界强度进行二值化操作，对获得的二值图，使用霍夫变换拟合圆作为铆钉边界，得到铆钉边界图像；

步骤S3、映射边界图像到点云数据中，拟合铆钉平面和蒙皮平面；

步骤S4、根据平面间距计算铆钉平齐度，完成飞机蒙皮铆钉的测量。

2.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，所述步骤S1包括：

步骤S101、基于双目结构光相机，即将两台相机的光轴按一定角度进行安装，所述一定角度使两台相机的光轴光束同时会聚于被测物，即整机的蒙皮铆钉区域；

步骤S102、根据整机测量的蒙皮铆钉区域深度图像重建出蒙皮点云。

3.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，所述步骤S3包括：

步骤S301、根据相机的内参矩阵，将铆钉边界图像信息映射到点云数据中；

步骤S302、使用RANSAC方式选取点云中内点组成平面，分别拟合铆钉区域的平面方程和整个蒙皮的平面。

4.根据权利要求3所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，步骤S301所述相机的内参矩阵为：

其中，c_x，c_y表示相机光轴在图像坐标系中的偏移量；

f_x，f_y是相机的透视焦距；

根据如下公式计算图像像素点(u，v)对应的点云坐标(x，y，z)：

其中，d是物体到相机的深度，s是相机的缩放因子。

5.根据权利要求3所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，所述步骤S302包括：

在一个迭代内设定阈值，在点云中随机选取内点使用最小二乘法组成平面；

若内点集比阈值小则再次重新选取内点，直到内点集大于阈值终止，在迭代N次后选取迄今为止发现的最大内点集来拟合所需平面。

6.根据权利要求5所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，所述步骤S302采用以下公式计算N，使得：

P＝1-(1-(1-∈)^p)^N→max

其中∈是未知的外点集的期望值，p表示随机选择p个内点构成内点集。

7.根据权利要求1所述的一种基于图像边界提取的飞机蒙皮铆钉的测量方法，其特征在于，所述步骤S4为：在拟合的铆钉平面内，定义一个中心点G₂，计算剩余点P_i到中心点的距离，保存最大距离D₁，重复以上定义、距离计算和最大距离保存的步骤，得到D₂,D₃,…,D_n，取最小的D_i对应的G_i为中心点；

计算G_i(x₀,y₀,z₀)到蒙皮平面的距离即为铆钉的平齐度；

其中，A，B，C，D是蒙皮平面的平面参数。