[发明专利]一种冰壶球的视觉感知方法、装置、计算机设备和存储介质

说明书

本发明是一种冰壶球的视觉感知方法、装置、计算机设备和存储介质。本发明涉及冰壶球的视觉感知技术领域，本发明基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。

技术领域

本发明涉及冰壶球的视觉感知技术领域，是一种冰壶球的视觉感知方法、装置、计算机设备和存储介质。

背景技术

通常机器人对冰壶球的检测是获得冰壶球在图像坐标系下的二维边界框。在实际任务中，机器人更为经常用到的是冰壶球三维位置和三维姿态信息。与之相比，冰壶球的边界框仅包含二维图像坐标，缺少冰壶球的深度和姿态信息，而且二维边界框的中心和冰壶球实际中心通常并不重合。特别是在冰壶机器人比赛中，投掷机器人常常需要知道冰壶球与自身的相对位置和姿态来进行取壶过程，而精确测量大本营处冰壶球落点位置对策略生成也至关重要。

发明内容

本发明基于仿真环境生成的冰壶球位姿估计训练数据，搭建并训练位姿估计网络，实现对冰壶球在相机坐标系下的位姿的预测。基于单目图像结合深度信息，使用迭代最近点算法(ICP)对估计结果进行修正，实现高精度的冰壶球三维位置和姿态估计。

本发明提供了一种冰壶球的视觉感知方法、装置、计算机设备和存储介质，本发明提供了以下技术方案：

一种冰壶球的视觉感知方法，包括以下步骤：

步骤1：基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；

步骤2：搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；

步骤3：通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。

优选的，述步骤1具体为：

步骤1.1：搭建冰壶运动仿真环境，并在大本营区域以0.5m为间隔，等间距地放置了五行五列的冰壶球，结合域随机化机制对冰壶位置、相机位姿、光照方向和强度、障碍物、目标材质进行随机调整，获得自动标注后的冰壶球位姿估计仿真训练数据；

步骤1.2：获取冰壶球在彩色图像中的边界框信息；设冰壶球信息为[x_b y_b w_b h_b]^T，原始边界框信息为[x₁ y₁ x₂ y₂]^T，其中，(x₁,y₁)和(x₂,y₂)分别为边界框左上和右下的图像坐标，W、H分别为图像的宽和高，通过下式确定归一化后的冰壶球信息：

其中，x_b、y_b分别代表冰壶球中心的图像坐标，w_b和h_b代表冰壶球的宽、高