[发明专利]一种基于半监督学习的电子元器件三维重建方法

权利要求书

1.一种基于半监督学习的电子元器件三维重建方法，其特征在于，包括如下步骤：

利用标定板对工业双目相机进行标定，获取相机的内参信息并存储到相机内参存储模块中；

利用工业双目相机捕获电子元器件的二维RGB图像，获取左视图、右视图并使用相机内参信息对拍摄得到的左视图、右视图进行图像校正任务，使得左视图、右视图的相同位置处于同一极线上；

将获取的图像分为语义分割数据集和三维重建数据集；使用Lableme工具为语义分割数据集提供标签并将语义分割数据集按比例划分为训练集、验证集、测试集和标签集；将三维重建数据集按比例划分为训练集、验证集和测试集；

将划分好的语义分割数据集输入到改进的Monodepth网络中用于语义分割训练，获取电子元器件的语义信息；将训练好的语义分割网络权重信息保存到语义信息存储模块中，待后续使用；

将划分好的三维重建数据集及语义信息存储模块中存储的语义分割权重信息输入到改进的Monodepth网络中，进行无监督三维重建训练；将三维重建训练学习到的视差权重存储到三维信息存储模块中，并用此视差权重来预测视差图；结合预测到的视差图和相机标定的相机内参信息，获取电子元器件的真实深度信息，实现对电子元器件的三维重建。

2.根据权利要求1所述的基于半监督学习的电子元器件三维重建方法，其特征在于，所述改进Monodepth网络包括稠密残差注意力模块。

3.根据权利要求2所述的基于半监督学习的电子元器件三维重建方法，其特征在于，所述稠密残差注意力模块将稠密残差结构与通道注意力模块相结合；其中稠密残差模块包括3个3x3卷积，3个Leakey Relu激活函数和1个级联模块，稠密残差注意力模块每个层从前面的所有层获得额外的输入，并将自己的特征映射传递到后续的所有层，最终通过级联的方式，将所有层的信息进行融合，输出稠密残差特征图；其中通道注意力模块包括1个全局平均池化层、2个全连接层、一个Leakey Relu激活函数和一个1x1卷积层，将稠密残差注意力模块的输出特征图作为通道注意力模块的输入信息，输入到全局平均池化层和全连接层获取通道注意力特征图1，将获得的通道注意力特征图1与稠密残差特征图进行元素相乘操作输出通道注意力特征图2，将通道注意力特征图2输入到1x1卷积层获取通道注意力特征图3，最后将通道注意力特征图3与原始输入x进行元素相加操作，输出y。

4.根据权利要求1所述的基于半监督学习的电子元器件三维重建方法，其特征在于，在完成相机标定任务之后，系统会将所学习到的相机内参信息自动存储到相机内参信息存储模块中；相机内参信息用于图像的标定和求取深度图。

5.根据权利要求1所述的基于半监督学习的电子元器件三维重建方法，其特征在于，在完成语义分割训练任务之后，系统会将所学习到语义分割网络权重信息自动存储到语义分割存储模块中；语义分割特征信息用于为后续三维重建任务提供语义分割先验知识。

6.根据权利要求1所述的基于半监督学习的电子元器件三维重建方法，其特征在于，在完成三维重建训练任务之后，系统会将所学习到视差权重信息自动存储到三维重建信息存储模块中；视差权重信息用于后续电子元器件视差信息的预测任务。

7.根据权利要求1所述的基于半监督学习的电子元器件三维重建方法，其特征在于，包括图像采集单元；所述图像采集单元采用两个分辨率为1920×1080万像素的彩色相机，用于获取料盒内的电子元器件的视觉信息，将这些图像作为三维重建模型的输入。