[发明专利]基于PoseCNN的焊缝焊接方法、装置及设备

权利要求书

1.一种基于PoseCNN的焊缝焊接方法，其特征在于，包括：

将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；

将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；

将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；

将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；

结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作；

其中，将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计，包括：将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计；

在回归后得到的各所述像素所在位置中确定焊板中心位置，包括：利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；选取得分最高的像素所在位置为所述焊板中心位置；

利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计，包括：根据公式计算所述焊板平移估计：

；

；

其中，为所述焊板中心位置的横坐标，为所述焊板中心位置的纵坐标，为摄像头主点的横坐标，为所述摄像头主点的纵坐标，为摄像头焦点的横坐标，为所述摄像头焦点的纵坐标，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为所述焊板平移估计。

2.一种基于PoseCNN的焊缝焊接装置，其特征在于，包括：

特征图获得模块，用于将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；

焊板旋转估计模块，用于将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；

焊板平移估计模块，用于将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；

焊缝位置估计模块，用于将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；

焊接操作模块，用于结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作；

其中，所述焊板旋转估计模块包括区域划分子模块、池化结果获得子模块及焊板旋转估计子模块，所述区域划分子模块，用于将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；所述池化结果获得子模块，用于将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；所述焊板旋转估计子模块，用于将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计；

所述焊板平移估计模块包括焊板中心位置确定子模块，所述焊板中心位置确定子模块包括投票分数获得单元和焊板中心位置选取单元，所述投票分数获得单元，用于利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；所述焊板中心位置选取单元，用于选取得分最高的像素所在位置为所述焊板中心位置；

所述焊板平移估计模块具体用于根据公式计算所述焊板平移估计：

；

；

其中，为所述焊板中心位置的横坐标，为所述焊板中心位置的纵坐标，为摄像头主点的横坐标，为所述摄像头主点的纵坐标，为摄像头焦点的横坐标，为所述摄像头焦点的纵坐标，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为所述焊板平移估计。