[发明专利]一种基于双目空间定位和智能分割的果实产量估算方法

权利要求书

1.一种基于双目空间定位和智能分割的果实产量估算方法，其特征在于，包括：

S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；

S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；

S3，分割图像中的果实；

S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。

2.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，还包括：

在步骤S1中，获取的双目图像信息包括左图像imgL和右图像imgR，RTK-GPS的维度lat和精度lon和双目相机的6轴姿态信息dirt。

3.根据权利要求2所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S24包括：

步骤S2中包括：

S21，矫正双目图像；

S22，通过立体匹配算法计算双目视差图，获得视差图img_disp；

S23，根据所述视差图img_disp获得场景中每个实物点的三维点云；

S24，根据相机的位姿，将所述三维点云转换到全局坐标系中。

4.根据权利要求3所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S24包括：

1)从双目相机的初始位置开始，位姿采集装置和双目相机进行刚性连接，实时输出相机在x,y和z方向的旋转角度；

2)和定位装置的定位信息和双目相机也进行刚性连接，实时输出双目相机的位置变化；

3)根据双目相机的角度和位置变化，由现在的相对三维坐标计算出双目相机在全局坐标系的坐标。

5.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，

在步骤S3中，将采集图像中的果实进行语义级别的分割，获取图像中各个果实的像素集合。

6.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S4包括：

S41，将果实中的像素匹配到三维的环境中，获取果实像素在三维场景中的全局坐标；

S42，根据果实像素的三维全局坐标集合计算果实的三维全局坐标；

S43，统计果实数量。

7.根据权利要求6所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，还包括：

S5，保留所有果实在三维场景中的位置，并将相同或误差允许范围内相同的位置进行滤除，保留一个有效的果实位置，筛选所有果实位置的数量。

8.根据权利要求7所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S51包括：

S51，通过在果实大小范围内，邻域搜寻的方法来判定是否会有坐标重叠，来确定是否存在重复的三维全局坐标；

S52，开始进行去重复操作，来筛选所有果实位置的数量。

9.根据权利要求8所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，

在步骤S51中，对检测的所有果实的三维全局坐标构建kd-tree结构，来判定是否有坐标重叠。

10.根据权利要求9所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S52包括：

1)对逐个坐标进行邻域搜索，搜索半径为该坐标对应的半径R，观察半径R的范围内会不会存在三维全局坐标，若存在，则记录全局坐标的编号，判定为重复果实的坐标，进行滤除操作；

2)全部坐标遍历后，筛选出所有无重复的三维全局坐标，然后判定三维全局坐标的数量为全部果实的产量。