[发明专利]一种基于深度类残差网络的三维物体识别和定位方法

权利要求书

1.一种基于深度类残差网络的三维物体识别和定位方法，其特征在于，所述的方法中采用三维模型构建模块、虚拟数据集制作模块、网络训练模块以及网络运用模块；其中，所述的三维模型构建模块自行建立所需目标物体的三维模型；所述的虚拟数据集制作模块对目标物体的点云数据进行批量采集和预处理；所述的网络训练模块中包含深度类残差网络，用于捕获局部特征信息；采集来的虚拟数据训练神经网络模型，并且在所述的网络运用模块中将在真实环境中使用并最终返回目标物体的类别和位置；

所述的方法包括如下步骤：

步骤1：确定目标物体的类别和数量，建立目标物体的三维模型；

步骤2：将目标物体的三维模型导入到虚拟环境中，通过控制方位角θ、仰角来调整虚拟深度相机的位置，以实现不同角度下的虚拟点云数据的采集，并保存到对应标签命名的文件中，每个角度对应一个点云文件，即一个样本；步骤2包括以下步骤：

步骤2.1：将步骤1中保存的目标物体的三维模型导入到虚拟环境中，通过平移和旋转将三维模型放置虚拟环境中的原点位置；

步骤2.2：调用虚拟环境下虚拟深度相机的API接口，设置虚拟环境的坐标原点O与虚拟深度相机S之间的距离OS，同时将采用的虚拟深度相机的初始位置放置在目标物体的正上方；

步骤2.3：通过控制方位角θ、仰角来控制虚拟深度相机的位置，采集不同角度下的点云图像，并以带有目标物体所对应的标签命名文件，每个角度对应一个点云文件，即一个样本；将上述的虚拟深度相机的位置的表达方式从球坐标系向直角坐标系(x,y,z)转换，转换关系如下：

其中，r为虚拟环境下虚拟深度相机S与坐标原点O之间的距离OS，θ代表方位角，代表仰角，x、y、z为转换后虚拟深度相机在虚拟环境下的直角坐标系中的位置；

步骤3：设置要采样的点云数，针对每个样本数据进行批量处理，在去除不符合要求的样本的同时进行FPS采样，求出每个样本的质心并对样本数据做特定的归一化处理；

步骤3包括以下步骤：

步骤3.1：设置每个样本需要采样的点云数目N，删除包含的点云数少于N/2的样本文件；

步骤3.2：当单个样本中的点云数与所需采样的点云数不一致时，采用FPS方法对该样本中的点云上采样或下采样至设置的数目；

步骤3.3：针对每个样本文件，对其采样完的数据做归一化处理，让每个样本中采样后的点云数据归一化到一个单位球体中；

步骤3.3.1：计算每个样本文件中的N个点云的质心，其坐标为N个点云x、y、z各个坐标的平均值，公式如下：

其中，x_i、y_i、z_i代表某个样本中第i个点云的位置信息，x_Centroid、y_Centroid、z_Centroid代表该样本中N个点云的质心的位置信息；

步骤3.3.2：求出每个样本中的每个点云与其质心之间的距离，

并取最大的距离作为单位球体的半径，公式如下：

r＝max(l_i) (4)

其中，l_i代表该样本中第i个点云与质心的距离，r代表该样本数据单位归一化后的球的半径，取值为该样本中N个点云中相对质心的距离的最大值；

步骤3.3.3：对每个样本中的点云进行归一化至单位球中，计算每个点云的坐标信息在各个轴方向所占的半径的尺寸，公式如下：

其中，x_{i_new}、y_{i_new}、z_{i_new}代表归一化后该样本中第i个点云分别在x、y、z各个轴方向占单位球半径的比例值，该值有正负方向的区别，其数值区间为[-1,1]；x_Centroid、y_Centroid、z_Centroid为该样本在步骤3.3.1中求得的质心坐标，r为其在步骤3.3.2中求得的单位球的半径；

步骤4：对样本进行批量处理，使其对应的标签信息，连同三维数据信息一起保存，训练集的制作完成；按照确定的训练集和验证集的比例，重复之前的步骤，进行验证集制作；

步骤5：采用深度类残差网络，将训练集和验证集的点云数据喂入网络中，通过网络的迭代优化获得到网络模型；

步骤6：在真实场景中，采用真实深度相机采集目标物体的点云数据，放入训练好的网络模型中，最终返回该物体的类别和位置信息；步骤6包括以下步骤：

步骤6.1：在真实场景中，通过真实深度相机采集某个目标物体在某个角度下的点云数据；对采集来的点云数据进行滤波、去背景处理，并保存到带有该目标物体所对应的标签命名文件中；

步骤6.2：对该文件中的数据进行步骤3至步骤4的处理，最终返回该目标物体所对应的类别信息及其位置信息，所述位置信息是该文件中点云数据的质心的位置信息，如步骤3计算质心；

步骤6.3：通过相机标定技术，将质心位置信息的表达由相机坐标系向世界坐标系转换，转换关系如下：

其中，为真实深度相机的外部参数矩阵，R为3×3的旋转矩阵，t为3×1的平移矩阵，R、t可由相机标定获得；(x_{Centroid_c}，y_{Centroid_c}，z_{Centroid_c})为质心在相机坐标系下的坐标，(x_{Centroid_w}，y_{Centroid_w}，z_{Centroid_w})为质心在世界坐标系下的坐标；

步骤6.4：标定板置于基坐标系的同一水平面，将质心的世界坐标系转化为机器人基坐标系下，选取标定板上的任意两点，即任意两世界坐标系下的点，查看机器人坐标，确定机器人基坐标系的方向及其与世界坐标系在x坐标与y坐标上的偏移量Δx、Δy，至此机器人基坐标系与世界坐标系的转换关系如下：

其中，(x_{Centroid_r}，y_{Centroid_r}，z_{Centroid_r})为质心在机器人基坐标系下的坐标；让机械臂基于该位置坐标抓取目标物体。