[发明专利]一种基于深度相机的6D数据集构建方法

说明书

本发明提供一种基于深度相机的6D数据集构建方法，以便于利用视觉传感器采集的信息来识别三维空间中的目标并估计其6D姿态以协助机器人加强对周围环境的感知。本发明采用Kinect 2.0相机，基于张正友棋盘标定法对相机进行标定，然后基于Kinect 2.0相机通过ROS平台采集视频流，然后使用3DMAX建模软禁设计目标物体的三维模型设计。最后利用ElasticFusion实时三维重建的方法得到实际场景，最后基于迭代最近点算法将待检对象的三维模型映射到实际场景中从而得到物体的6D位姿。由于检测物体的复杂性与多样性，本发明针对具体的应用场景，提出专门的位姿数据集构建方法，为特定的网络进行训练检测奠定了基础。

技术领域

本发明属于图像处理、模式识别和机器视觉技术领域，涉及位姿数据集构建方法，尤其涉及图像6D位姿方数据集构建方法，便于利用视觉传感器采集的信息来识别三维空间中的目标并估计其6D姿态以协助机器人加强对周围环境的感知，为具体应用场景下特定网络模型的训练检测奠定了基础。

背景技术

近年来，随着计算机视觉算法不断发展，人们开始使用二维的视觉图像辅助算法作为分析问题和解决问题的方法，尤其在一些工件检测上具有相对广泛的应用，由于在二维领域中深度、尺寸等物理世界信息的缺失，导致了对周围环境的检测过程中存在明显的局限性。因此，三维传感器在计算机视觉领域的需求被提出，三维成像技术也不断的发展。当前，市场上的三维传感器渐渐普及，各种型号的激光雷达和深度相机产品不断涌现，尤其是随着微软、奥比中光、因特尔等产业对于小型深度相机研究的不断深入，深度相机的价格也逐步降低。许多领域中开始大量使用三维传感器，比如AR/VR、机器人、遥感遥测、无人驾驶等方面。因此，三维领域的计算机视觉逐渐成为研究热点，而6D位姿估计在三维领域中也成为了一个新兴的发展方向。

在实际应用中，为了能够准确的实现物体的6D位姿估计，首先需要能精确的识别物体。相比于得到物体的目标框，分割有助于在后续的6D位姿估计中更精确的定位物体，二维图像的分割研究已相对成熟，基于RGB数据和深度数据的协同处理是现在研究的难点问题。通过分割得到物体的掩模，然后才能够实现物体的6D位姿估计，物体的6D位姿估计在未来的工业机器人、无人驾驶方面将具有无可限量的研究价值。

目前，数据集的标注信息主要包括场景中每个物体的类别和三维位姿；在实际数据集建设时，现有技术主要采用传统人工标注，可供深度学习模型训练和位姿识别算法测试的位姿数据集少之又少，因此，本文提出了一种基于深度相机的6D位姿数据集生成方法。构建位姿数据集整体流程如图1所示，第一步是相机的配置，选用kinect v2相机基于张正友棋盘标定法进行标定，得到相机的内参和畸变系数。其次是创建目标物体的三维模型，采用3DMAX实现物体的三维模型设计。最后是结合前面获得的参数进行半自动化打标签，并将得到的标签数据进行数据转换得到最终需要的位姿数据，由此生成基于深度相机的6D位姿数据集。

发明内容

为了克服上述现有技术的不足，本发明提出了一种基于深度相机的6D数据集构建方法，便于利用视觉传感器采集的信息来识别三维空间中的目标并估计其6D姿态以协助机器人加强对周围环境的感知，为具体应用场景下特定网络模型的训练检测奠定了基础。

本发明采用深度相机Kinect 2.0深度相机，基于张正友棋盘标定法对其标定，得到相机的内参和畸变系数，选用ROS平台架构实现数据流的采集。然后是使用3DMAX建模软禁设计目标物体的三维模型设计。最后采用LabelFusion框架估计位姿数据，基于三维重建模型ElasticFusion进行场景重建，使用ICP匹配方法将物体三维模型映射到三维场景中得到物体的位姿数据。最后将所得标签数据进行数据转换得到6D位姿数据集。本发明方法的模型结构图如图1所示。

本发明提供的技术方案如下：

一种基于深度相机的6D数据集构建方法，其特征在于：