[发明专利]一种基于深度学习和三维重建的货物体积测量方法

权利要求书

1.一种基于深度学习和三维重建的货物体积测量方法，其特征在于，包括如下步骤：

第一步，采用两部同类型RGBD摄像头，以焦点位于同一直线，镜头位于同一水平面且方向相对的摆放方式来获取两组RGBD摄像头之间区域的RGBD数据，得到两组RGBD数据；

第二步，根据特征匹配和深度学习的方法对所述两组RGBD数据中RGB数据进行预处理，得到目标物体与背景区域之间实现边缘分割的RGB数据，结合前述两组RGBD数据中的原深度数据，构成两组经过预处理的RGBD数据；

第三步，通过对所述两部RGBD摄像头进行标定，获得两组RGBD摄像头的内参矩阵，根据空间坐标系与像素坐标系的映射关系和所述内参矩阵，分别以所述两组经过预处理的RGBD数据构造两组携带RGB信息的点云数据；

第四步，通过测得空间坐标系下前述两部RGBD摄像头的位置数据，计算在世界坐标系下两个RGBD摄像头位置间的旋转平移矩阵，根据该旋转平移矩阵，将前述两组携带RGB信息点云数据拼接得到处于同一空间坐标系下的点云数据；

第五步，在所述同一空间坐标系下的点云数据中，根据目标物体与背景区域之间的RGB数据差异，分割点云数据，得到仅保留目标物体的点云数据；

第六步，根据所得到的仅保留目标物体的点云数据，生成目标物体三维模型，再以目标物体三维模型，生成目标物体的三维凸包模型，最终通过计算所述三维凸包模型的体积作为所求目标物体的体积；

所述第二步中，RGB数据预处理为对RGB数据做目标识别与语义分割，利用Mask-RCNN神经网络标记出每组RGB数据中目标物体的轮廓，以所述轮廓作为分界线，对所述分界线内外部分的两组RGB数据做差异化处理，使得目标物体与背景区域之间的RGB数据具有明显差异，再以经过预处理的RGB数据结合原RGBD数据中的深度数据，构成经过预处理的RGBD数据；

所述Mask-RCNN神经网络的结构为：输入一幅图像，对图片进行预处理之后图像变成固定的大小112×112，随后通过卷积核大小为64×(7×7)的第一卷积层conv1提取特征，输出大小为56×56的特征图，继续通过结构为3个深度瓶颈结构block且每个block由64×(1×1)，64×(3×3)，256×(1×1)三层卷积层构成的第二卷积结构conv2_x、结构为4个block且每个block由128×(1×1)，128×(3×3)，512×(1×1)三层卷积层构成的第三卷积结构conv3_x、结构为23个block且每个block由256×(1×1)，256×(3×3)，1024×(1×1)三层卷积层构成第四卷积结构conv4_x进行卷积操作，在conv4_x之后提取到大小为14×14的特征图，送入RPN网络，RPN网络用来对卷积网络产生的多个ROI进行区分和初步定位，输出回归框的四个预测值，其中，区域特征聚集方式ROIAlign通过最大池化操作将特征图上面的ROI固定为特定大小7×7的特征图，以便进行后续的分类和包围框回归操作；再通过结构为3层block且每层block由64×(1×1)，64×(3×3)，256×(1×1)三层卷积层构成的第五卷积结构conv5_x，输出大小为7×7的特征图；最后通过全局平均池化操作average pooling输出分类结果、回归框，通过deconv反卷积操作输出mask；

所述第六步中，三维凸包模型采用增量算法生成，生成方法为：选取点云数据集中的四个点构成一个初始的四面体凸包，然后继续选取点云数据集中剩余的点，若所述点云数据集中剩余的点位于当前凸包内部，则删除此点；若所述点云数据集中剩余的点位于当前凸包外部，则删除透过此点的可见面，同时将不可见面的边分别与此点相连接，构成新的面，加入到原凸包中；重复上述步骤，直到点云数据中所有点都经过处理，最终生成目标物体的三维凸包模型，通过计算所述三维凸包模型的体积作为所求目标物体的体积。