[发明专利]基于深度学习的行李识别测量方法及装置

权利要求书

1.基于深度学习的行李识别测量方法，其特征在于，包括如下步骤：

构建ACVNet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对ACVNet网络模型进行训练，利用行李立体匹配数据集进行训练后的ACVNet网络模型的迁移学习，获得最终的训练好的ACVNet网络模型；

利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的ACVNet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；

将点云数据可视化分类并获得行李的尺寸信息。

2.根据权利要求1所述的基于深度学习的行李识别测量方法，其特征在于：所述行李立体匹配数据集的获取方法为：

a、通过双目相机获取行李RGB图像及行李视差图，对获取的行李RGB图像进行处理，获得行李左、右目图像，通过激光雷达结合雷达标定的外参与行李视差图融合形成完整的视差图；

b、调整行李在相机和激光雷达视场下的摆放位置和姿态，重复步骤a，获得多组图像对和视差图，从而获得行李立体匹配数据集。

3.根据权利要求2所述的基于深度学习的行李识别测量方法，其特征在于：利用训练集对ACVNet网络模型进行训练的方法为：

利用SceneFlow数据集对ACVNet网络模型进行模型预训练，并保存训练权重；

利用真实驾驶场景KITTI2012、KITTI2015数据集分别对ACVNet网络模型进行模型预训练，并保存训练权重。

4.根据权利要求3所述的基于深度学习的行李识别测量方法，其特征在于：对行李图像进行预处理的方法为：对行李图像依次进行图像极线校正、图像增强处理、图像分割处理，获得预处理后的行李图像。

5.根据权利要求4所述的基于深度学习的行李识别测量方法，其特征在于：通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据的方法为：

利用三角测量原理将视差图转化为深度图：

式中，b是双目相机左右光轴之间的距离，f为相机焦距，z为待测物体距离相机的深度，XL是左目相机图像中的点在左相机图像坐标系下的水平坐标，XR是右目相机图像中的点在右相机图像坐标系下的水平坐标；

获取行李各点的三维坐标：

式中，(x,y,z)为行李的三维坐标信息，d为行李左右图像的视差图，(X_a，Y_a)为经过图像预处理之后的图像坐标值；

将得到的行李深度图转化为点云图。

6.根据权利要求4所述的基于深度学习的行李识别测量方法，其特征在于：对行李图像进行图像极线校正的方法为：

通过张正友标定法进行相机标定，获取双目相机的内外参数，运用Bouguet图像校正算法将双目相机获取到的左、右行李图像进行极线校正，使图像满足立体匹配的极线约束。

7.根据权利要求6所述的基于深度学习的行李识别测量方法，其特征在于：采用直方图均衡化图像灰度变换增强算法，对极线校正后的行李图像进行增强处理；运用霍夫变换算法对获得的增强图像进行行李图像分割处理。

8.基于深度学习的行李识别测量装置，其特征在于，包括：

ACVNet网络模型获取模块，用于构建ACVNet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对ACVNet网络模型进行训练，利用行李立体匹配数据集进行训练后的ACVNet网络模型的迁移学习，获得最终的训练好的ACVNet网络模型；

行李图像点云数据获取模块，用于利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的ACVNet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；

行李尺寸信息获取模块，用于将点云数据可视化分类并获得行李的尺寸信息。