[发明专利]行李软硬包识别方法、装置及行李分拣系统

权利要求书

1.一种行李软硬包识别方法，其特征在于，包括：

获取第一RGB图像以及与所述第一RGB图像对应的第一点云信息，所述第一RGB图像包括待识别的目标行李的像素信息；

基于所述第一RGB图像，对所述第一点云信息进行解算，得到所述目标行李的目标点云信息；

基于所述第一RGB图像和所述目标点云信息，确定所述目标行李的目标类型信息、目标尺寸信息和目标位姿信息；

基于所述目标类型信息、所述目标尺寸信息和所述目标位姿信息，确定所述目标行李的软硬包类别。

2.根据权利要求1所述的行李软硬包识别方法，其特征在于，所述基于所述第一RGB图像，对所述第一点云信息进行解算，得到所述目标行李的目标点云信息，包括：

对所述第一RGB图像进行目标检测，得到所述目标行李的所述目标类型信息以及所述目标行李在所述第一RGB图像中的目标位置信息；

基于所述目标位置信息和所述第一点云信息，解算得到所述目标点云信息，所述目标点云信息用于确定所述目标尺寸信息和所述目标位姿信息。

3.根据权利要求2所述的行李软硬包识别方法，其特征在于，所述基于所述目标位置信息和所述第一点云信息，解算得到所述目标点云信息，包括：

对所述第一点云信息进行前景背景分割，解算得到所述目标行李的第二点云信息；

基于所述第一点云信息和所述目标位置信息，解算得到所述目标行李的第三点云信息；

对所述第二点云信息和所述第三点云信息进行融合处理，得到所述目标点云信息。

4.根据权利要求2所述的行李软硬包识别方法，其特征在于，所述对所述第一RGB图像进行目标检测，得到所述目标行李的所述目标类型信息以及所述目标行李在所述第一RGB图像中的目标位置信息，包括：

将所述第一RGB图像输入至目标检测模型，进行目标检测，得到所述目标检测模型输出的所述目标类型信息和所述目标位置信息；

其中，所述目标检测模型是基于样本行李数据集训练得到的，所述样本行李数据集包括样本行李图像及所述样本行李图像对应的标签信息。

5.根据权利要求1所述的行李软硬包识别方法，其特征在于，所述获取第一RGB图像以及与所述第一RGB图像对应的第一点云信息，包括：

获取多张所述第一RGB图像以及与多张所述第一RGB图像一一对应的多个所述第一点云信息；

所述基于所述第一RGB图像，对所述第一点云信息进行解算，得到所述目标行李的目标点云信息，包括：

基于多张所述第一RGB图像，一一对应地对多个所述第一点云信息进行解算，得到多个所述目标点云信息。

6.根据权利要求5所述的行李软硬包识别方法，其特征在于，所述目标尺寸信息基于多个所述目标点云信息对应的第一尺寸信息的均值确定，所述目标位姿信息基于多个所述目标点云信息对应的第一位姿信息的均值确定。

7.根据权利要求5所述的行李软硬包识别方法，其特征在于，所述目标行李的软硬包类别基于多个第一软硬包类别的众数确定，所述第一软硬包类别基于所述第一RGB图像和与所述第一RGB图像对应的所述目标点云信息确定。

8.根据权利要求1-7任一项所述的行李软硬包识别方法，其特征在于，所述基于所述目标类型信息、所述目标尺寸信息和所述目标位姿信息，确定所述目标行李的软硬包类别，包括：

将所述目标类型信息、所述目标尺寸信息和所述目标位姿信息输入至分类网络模型，获得所述分类网络模型输出的所述目标行李的软硬包类别；

其中，所述分类网络模型是基于训练样本集训练得到的。