[发明专利]一种基于双目空间定位和智能分割的果实产量估算方法

说明书

本发明提出一种基于双目空间定位和智能分割的果实产量估算方法，包括：S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；S3，分割图像中的果实；S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。本发明的方法能够在密植果园的场景内很好的估计果实产量。

技术领域

本发明涉及机器人技术领域，更具体地，涉及一种基于视觉和激光测距的果实定位方法。

背景技术

水果产量估算是果园管理中的一项重要工作，精确的产量估计有助于种植者提高水果质量，并能够更好地决定疏果的强度和收获劳动力的规模，以此来降低运营成本。这也有利于包装行业，因为管理者可以使用评估结果来优化包装和存储的容量规划。同时提前预知果园的产量可以帮助农民提前规划水果预售订单，辅助农民获取良好的收益。目前基于人工采样的产量估计是耗时、劳力密集且不准确的；单一通过检测水果的方法，可能会造成部分水果的重复检测，致使产量估算结果存在较大误差。

现有技术包括，论文《柑橘植株冠层营养及花量、产量的近地遥感估测研究》提供了一种基于无人机遥感的柑橘植株产量估测方法。该方法利用八旋翼无人机搭载的多光谱成像仪，分别在花芽生理分化期、休眠期和盛花期采集植株冠层光谱遥感信息，同时采集冠层叶片进行营养元素含量的测定，并调查统计试验区域单株的花量和产量。运用光谱遥感图像处理和数理统计分析等技术，分别以植被指数、原始光谱为自变量，建立单株产量的PLS、PCR、LS-SVM估测模型进行估产研究，最终确定单株产量估测的最佳时期仍是休眠期，以冠层植被指数为自变量所建的LS-SVM模型的预测效果最优。该技术方案利用冠层植被指数为自变量所建的LS-SVM模型，容易受到大气、环境光照、温度的影响，极易造成估产发生较大的误差，同时该方法利用多光谱相机作为主要估产传感器，也会造成过估产成本较高。

论文“Automated Crop Yield Estimation for Apple Orchards”提供了一种果园机器人的视觉导航方法。该方法首先构建了一套GPS定位和双目相机相融合的系统，该算法使用首先读取系统采集到的彩色图像，去除失真。然后，它利用视觉线索来检测图像中红色或绿色苹果的区域。最后，利用形态学方法将苹果区域转化为图像中的苹果计数。该技术方案虽然利用双目相机和人工灯光辅助在晚上能检测出红绿苹果，但是果实检测能力低，对于相同行两侧相同的水果也存在重复检测的现象，同时也对遮挡的水果检测能力不足，这些因素最终会给估产带来较大偏差。

发明内容

本发明针对在密植果园的场景，出现果实产量无法被较好估计的问题，提供了一种基于双目空间定位和智能分割的果实产量估算方法。本发明保证了计算机、视觉传感器和定位传感器的数据相互融合，实现在果园这种半结构化环境下，自主完成果实估产作业。

为此，本发明提出一种基于双目空间定位和智能分割的果实产量估算方法，包括：S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；S3，分割图像中的果实；S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。

本发明的方法能够自动、快速和准确的进行产量估计。该方法中利用了双目相机、IMU和GPS数据，集成到一个移动平台上，实际作为果实图像数据采集的平台。采用双目相机进行图像采集，使用IMU和GPS数据融合，实现采集坐标的记录，并通过slam技术实现对果园的三维重建工作，通过深度学习实时识别图像中的果实，并且自动的计算果实在三维环境中的坐标和范围。本发明的方法也可以通过扫描每行果树的两侧，将相同的果实进行去重复操作，以保证了系统估计的准确性。该视觉方案，经济有效且成本较低，也符合现在智慧农业发展的需要。