[发明专利]一种基于深度相机的6D数据集构建方法

权利要求书

1.一种基于深度相机的6D数据集构建方法，其特征在于：

步骤1：数据的采集：

采用深度相机Kinect 2.0，采集得到空间坐标系不一样的图像数据集；

步骤2：数据的标定：

采用张正友棋盘标定法，以棋盘中心为世界坐标系的原点，网格线作为坐标系的X轴和Y轴，由于棋盘是一个平面，所以棋盘上的所有点Z轴方向上的值都为0，棋盘上每个栅格交点都作为一个特征点，由这些特征点进行标记得到标定的结果，标定过程中仅对相机的内参及其畸变系数进行标定；

步骤3：构建用于数据采集的平台，通过构建ROS系统并采用libfreenect2作为Kinect2.0相机的驱动，使用IAI_Kinect2功能包作为与Libfreenect2驱动连接的接口，实现Kinect 2.0数据采集，具体实现步骤如下：

3.1运行roscore的节点管理器；

3.2运行kinect2_bridge接口，kinect2_bridge用于提供Libfreenect2与ROS系统的接口，通过命令“roslaunch kinect2_bridge kinect2_bridge.launch depth_method:＝opengl reg_method:＝cpu”连接Kinect 2.0相机；

3.3运行kinect2_viewer图像显示的工具，通过命令“rosrun kinect2_viewerkinect2_viewer”显示采集得到RGBD图及点云图；

3.4运行rgbd_ros_to_lcm进行数据传输，通过运行命令“roslaunch rgbd_ros_to_lcmlcm_republisher.launch”将上一步中获取的数据传送到LCM通道；

3.5运行lcm-logger进行数据存数，通过lcm-logger命令将RGBD数据保存为LCM格式，该数据与数据标注LabelFusion管道兼容；生成RGBD数据的真实标签；

步骤4：物体三维模型：

采用3DMAX软件中内置模型和二维线条进行建模，通过使用标准几何图形中的常规模型和扩展几何图形中的异面体模型作为基本体进行组合得到复杂的模型，同时针对点、线、多边形等对象，配合挤压、倒角、旋转等操作让二维图形呈现出三维效果；

步骤5：物体三维重建：

通过传感器获取到三维的场景信息，采用三维重建方法ElasticFusion进行场景复原；

步骤6：6D数据集构建

通过标记结果将目标物体重新投影到三维场景中得到物体的位姿数据，为RGBD图像生成标签，将所得标签数据进行数据转换得到6D位姿数据集。

2.如权利要求1所述的6D数据集构建方法，其特征在于：步骤5具体包括：

5.1数据采集，通过Kinect 2.0相机采集RGB图和深度图，将其转化为点云数据，并计算法向量；

5.2ICP点云匹配，将当前帧的点云与模型投影得到的预测点云数据进行配准，利用ICP算法计算位姿，得到当前点云的变换矩阵；

5.3回环检测，进行全局回环检测，检测是否存在回环，若存在，对已重建模型和位姿参数进行优化；若不存在，检测是否存在局部回环，再进行参数优化；

5.4点云融合，根据上一步中配准得到的矩阵，使用OpenGL将当前帧的点云融合到全局模型中，得到新的预测点云，并用于下一帧点云的配准。

3.如权利要求1所述的6D数据集构建方法，其特征在于：步骤6中采用手动标记和ICP匹配相结合的方法，使用ICP匹配方法将物体三维模型映射到三维场景中得到物体的位姿数据，所述ICP匹配方法，具体为找到目标物体的点云参数和参考点云之间的变换参数。先给定两组数据S和M，其中S是源点云集，M是带配准目标的点集，通过旋转参数R和平移参数t，将M点集向S集靠近，得到M和S的位置，通过误差函数计算出最优参数，其误差函数如式(1)所示，

式中m_i是通过遍历M中的坐标点得到的点组，在S中搜索M的对应点构成的配对点集，这些对应的点需要通过距离阈值来进行调整，大于的为误配对组，是移除误配对之后的点组数，当均方误差小于设定值时，配准结束。