[发明专利]一种基于深度学习的果园机械行走路线规划方法

权利要求书

1.一种基于深度学习的果园机械行走路线规划方法，其特征在于，所述方法包括：

步骤1、首先获取待规划果园的环境样本集；

步骤2、利用所述环境样本集对改进的YOLO V3神经网络进行训练，将改进后的YOLO V3神经网络取名为TREE-YOLO V3网络；

其中，所述改进的YOLO V3神经网络包括：

将原有Darknert 53网络的LeakyRelu激活函数替换为mish激活函数；并在原YOLO V3神经网络的基础上，扩展了64*64尺度预测；

基于改进的YOLO V3神经网络，利用所述环境样本集对改进的YOLO V3神经网络进行训练的过程为：

首先采用多目标数据集进行训练，包括树干接近地面的交叉区域和果树；其中，树干标记框为红色，果树标记框为绿色；

采用矩形框标记树干与果树的位置和类别，标记的数据以JSON文件的格式保存；其中，在标记树干时，矩形框包含树干和树干与地面结合区域，这样便于表征树干与地面结合区域信息；

训练后的TREE-YOLO V3网络会生成一个权重文件；

步骤3、实时获取待测果园的图片或视频，并使用步骤2训练好的TREE-YOLO V3网络进行识别，输出带标记的图片和TXT文件；其中，所述图片中用矩形框标出树和树干的位置；

步骤4、利用步骤3中矩形框的底边中点进行果树行参考线的拟合；

步骤5、基于步骤4拟合的果树行参考线进行果园机械行走路线拟合。

2.根据权利要求1所述基于深度学习的果园机械行走路线规划方法，其特征在于，在步骤1中，具体是收集待规划果园中果树与其他植物、树干支撑杆、天线杆的图像数据集，包括阴天光线阴暗与晴天光照充足的图像数据集，同时包括不同色彩、形态、轮廓、纹理、种类的果树图像数据集，并将收集的图像数据集作为改进后的YOLO V3神经网络训练的样本集。

3.根据权利要求1所述基于深度学习的果园机械行走路线规划方法，其特征在于，在步骤3中，所输出的TXT文件包括多行记录，每行记录包含多个字段，每个字段使用空格分开，格式如下:trunk p1 x1 y1 x2 y2；

其中，trunk表示树干；p1是置信概率；x1是左上角点像素横坐标；y1是左上角点像素纵坐标；x2是右下角点像素横坐标；y2是右下角点像素纵坐标。

4.根据权利要求1所述基于深度学习的果园机械行走路线规划方法，其特征在于，在步骤4中，分别判断两侧果树参考点个数是否符合最小二乘法，满足至少三点拟合标准，即三个坐标点及三个以上即可拟合出直线，具体过程为：

输入果树参考点坐标信息，判断此点是否为左侧果树行参考点，否则为右侧果树参考点；

此后再判断每侧果树行参考点的个数，如果共有三个及三个以上参考点，则可用最小二乘法拟合此侧果树行参考线；

如果参考点个数小于三个，遇到果树有缺失现象，则连接两个参考点即为此侧果树行参考线。

5.根据权利要求1所述基于深度学习的果园机械行走路线规划方法，其特征在于，在步骤5中，拟合的两侧果树行参考线的中线即为果园机械行走的参考路线，具体来说：

寻找左侧果树参考点P_l1在右侧参考线MN上的对应点P_r1，计算点P_l1和点P_r1之间的线段中点P_m1；其中，点P_l1为图像中最远果树参考点；

然后寻找图像中最近果树参考点P_l2的对应点P_r2，并得到点P_l2和点P_r2之间的线段中点P_m2；

则点P_m1和P_m2之间的直线即为拟合的果园机械行走路线。

6.根据权利要求1所述基于深度学习的果园机械行走路线规划方法，其特征在于，在进行果园机械行走路线拟合时，采用多传感器融合技术将果树行参考线和陀螺仪方向数据进行融合，以更加准确的确定果园机械行进方向；

其中，所采用的融合方法为模糊逻辑法。