[发明专利]融合点云信息的深度学习实例分割方法、装置及设备

权利要求书

1.一种融合点云信息的深度学习实例分割方法，其特征是，包括以下步骤：

采用3D相机得到实例对象图像和对应的点云数据；

利用改进的深度学习识别框架对实例对象图像进行实例分割；

对点云数据进行预处理得到有效点云；

将实例分割的对象与有效点云进行信息融合，得到修正后实例分割对象；

将修正后实例分割对象对外输出应用到项目中；

所述采用3D相机得到图像和对应的点云数据，包括：

3D相机架设于实例对象的正方向，采用3D相机拍摄实例对象的图像数据，采用其测量设备获取3D相机到物体的距离——即点云数据，然后将这两种数据对齐，即取图像上的一点在点云数据中查到唯一对应的深度。

2.根据权利要求1所述的融合点云信息的深度学习实例分割方法，其特征是，所述改进的深度学习识别框架是在原有通用深度学习识别框架基础上，针对项目内容，设定适合项目的一定数量和尺寸的锚框。

3.根据权利要求1所述的融合点云信息的深度学习实例分割方法，其特征是，对点云数据进行预处理得到有效点云，包括：

对点云数据进行滤波、空间选取、平滑或稀疏处理，得到有效点云。

4.根据权利要求2所述的融合点云信息的深度学习实例分割方法，其特征是，将实例分割的对象与有效点云进行信息融合，包括：

将有效点云的位置信息与实例分割对象进行区域和尺寸对比，删除不符合项目需求的实例对象，或者保留符合项目需求的实例对象。

5.根据权利要求1所述的融合点云信息的深度学习实例分割方法，其特征是，所述实例分割的对象包括正确的和误识别的对象信息，所述修正后实例分割对象包括对象类型、置信度、位置以及范围信息。

6.根据权利要求1-5任意一项所述的融合点云信息的深度学习实例分割方法，其特征是，将实例分割的对象与有效点云进行信息融合，得到修正后实例分割对象，具体包括：

进行参数设定，设定识别对象的区域和尺寸限定参数；

从实例分割对象中提取一个ROI，结合有效点云数据和参数设定值进行区域检测计算；

进行尺寸检测计算，得出符合应用要求的ROI结果；

如果选择由图像和实例分割信息进行融合实施点云分割的模式，则进一步对ROI修正，得到修正后ROI，否则直接得出该结果；

依次循环处理实例分割对象中的每一个ROI，得到修正后实例分割对象。

7.一种融合点云信息的深度学习实例分割装置，其特征是，包括：

实例对象获取模块，用于采用3D相机得到实例对象图像和对应的点云数据；

实例分割模块，用于利用改进的深度学习识别框架对实例对象图像进行实例分割；

点云数据预处理模块，用于对点云数据进行预处理得到有效点云；

信息融合模块，用于将实例分割的对象与有效点云进行信息融合，得到修正后实例分割对象；

输出应用模块，用于将修正后实例分割对象对外输出应用到项目中；

所述实例对象获取模块，具体用于：

3D相机架设于实例对象的正方向，采用3D相机拍摄实例对象的图像数据，采用其测量设备获取3D相机到物体的距离作为点云数据；将图像数据和点云数据对齐，即取图像上的一点在点云数据中查到唯一对应的深度。

8.根据权利要求7所述的融合点云信息的深度学习实例分割装置，其特征是，所述信息融合模块包括：

参数设定模块，用于进行参数设定，设定识别对象的区域和尺寸限定参数；

区域检测模块，用于从实例分割对象中提取一个ROI，结合有效点云数据和参数设定值进行区域检测计算；

尺寸检测模块，用于进行尺寸检测计算，得出符合应用要求的ROI结果；

融合模块，用于选择由图像和实例分割信息进行融合实施点云分割的模式，进一步对ROI修正，得到修正后ROI；

循环处理模块，用于依次循环处理实例分割对象中的每一个ROI，得到修正后实例分割对象。