[发明专利]基于深度学习的行李识别测量方法及装置

说明书

本发明涉及基于深度学习的行李识别测量方法，包括如下步骤：构建ACVNet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对ACVNet网络模型进行训练，利用行李立体匹配数据集进行训练后的ACVNet网络模型的迁移学习，获得最终的训练好的ACVNet网络模型；利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的ACVNet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；将点云数据可视化分类并获得行李的尺寸信息；本发明能保证行李尺寸测量的准确率和效率。

技术领域

本发明属于行李智能搬运识别测量技术领域，尤其涉及基于深度学习的行李识别测量方法及装置。

背景技术

目前国内外机场对于需要托运的行李后处理，一般是由地面服务人员根据箱包的规格目视检查及人工评估，将行李手动搬运到行李运输集装箱或飞机货舱。

人工搬运行李需要较高的人力成本，并且在搬运过程中容易造成行李损坏，影响旅客飞行体验及机场的运行效率。而行李的智能搬运需要获取行李的尺寸和位姿信息才能与机械臂配合将行李码放在合适的位置，以提高搬运效率和货舱空间利用率。

目前对于行李的测量一般为传统的光栅测量或线激光扫描，光栅测量容易造成行李尺寸误差较大的问题，而一整套的激光扫描设备成本又相对较大，因此不能较好的满足对于多件行李，不同类别、不同形状的行李的识别和测量。

因此，针对上述问题，本发明提出了一种基于深度学习的行李非接触测量方法及装置。

发明内容

本发明的目的在于提供提出一种基于深度学习的行李识别测量的方法及装置，解决现有行李测量设备成本较高，传统立体匹配算法误差较大的问题，相比于传统的算法能够获得更好的尺寸测量精度，解决在机场运输环境光照复杂多变，行李表面弱纹理区域匹配效果差，从而影响行李检测搬运效率和机场服务满意度的问题。

本发明解决其技术问题是采取以下技术方案实现的：

基于深度学习的行李识别测量方法，包括如下步骤：

构建ACVNet网络模型，并获取训练集及行李立体匹配数据集，利用训练集对ACVNet网络模型进行训练，利用行李立体匹配数据集进行训练后的ACVNet网络模型的迁移学习，获得最终的训练好的ACVNet网络模型；

利用双目相机获取行李图像，并对行李图像进行预处理，将预处理后的行李图像输入到训练好的ACVNet网络模型获取行李的视差图，通过三角测量原理，将视差图转化为深度图，结合双目相机标定得到的内外参数，进而得到双目相机拍摄画面的点云数据；

将点云数据可视化分类并获得行李的尺寸信息。

进一步的，所述行李立体匹配数据集的获取方法为：

a、通过双目相机获取行李RGB图像及行李视差图，对获取的行李RGB图像进行处理，获得行李左、右目图像，通过激光雷达结合雷达标定的外参与行李视差图融合形成完整的视差图；

b、调整行李在相机和激光雷达视场下的摆放位置和姿态，重复步骤a，获得多组图像对和视差图，从而获得行李立体匹配数据集。

进一步的，利用训练集对ACVNet网络模型进行训练的方法为：

利用SceneFlow数据集对ACVNet网络模型进行模型预训练，并保存训练权重；

利用真实驾驶场景KITTI2012、KITTI2015数据集分别对ACVNet网络模型进行模型预训练，并保存训练权重。

进一步的，对行李图像进行预处理的方法为：对行李图像依次进行图像极线校正、图像增强处理、图像分割处理，获得预处理后的行李图像。