[发明专利]一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法

权利要求书

1.一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法，其特征在于，包括以下步骤：

11)训练样本的获取和预处理：实地采集枸杞枝条视频图像，并按帧进行划分处理成RGB枸杞枝条图片，将其大小归一化为1024*1024像素，并标记出图像中每一片枸杞树叶位置及其枸杞树叶的尖端、末端两个关键点，同时标记出每片枸杞树叶梗与树枝的交点；

12)构建并训练枸杞树叶及其关键点检测网络：基于Mask-RCNN构建枸杞树叶及其关键点检测网络，并利用训练样本对枸杞树叶以及关键点网络进行训练；

13)构建并训练枸杞枝条定位模型：基于径向基神经网络构建枸杞枝条定位模型，再对枸杞枝条定位模型进行训练，即枸杞枝条上的点进行定位，拟合已获得枝条上的点以生成枸杞枝条的位置曲线；

14)待检测枸杞枝条视频图像的收集和预处理：获取待检测枸杞枝条视频图像，按帧进行划分处理成RGB枸杞枝条图片并将图片大小归一化为256*256像素；

15)枸杞枝条检测结果的获得：将预处理后的待检测枸杞枝条图像输入枸杞树叶及其关键点检测网络，得到待检测枸杞枝条图像的枸杞树叶边框坐标和关键点坐标；再输入训练后的枸杞枝条定位模型中，得到待检测枸杞枝条图像中枸杞枝条的具体位置和形状走势。

2.根据权利要求1所述的一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法，其特征在于，所述构建枸杞树叶及其关键点检测网络包括以下步骤：

21)基于Mask-RCNN设定枸杞树叶及其关键点检测网络的输入层为：RGB枸杞枝条图片；

22)设定特征提取与特征融合层选用特征网络金字塔融合后的三个尺度上的特征第三、第四、第五层，并移除第一、第二层；

23)基于Mask-RCNN设定枸杞树叶及其关键点检测网络的输出层为枸杞树叶位置及其枸杞树叶的尖端、末端两个关键点坐标。

3.根据权利要求1所述的一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法，其特征在于，所述训练枸杞树叶及其关键点检测网络包括以下步骤：

31)利用迁移学习方法，将数据集ImageNet上训练的参数对卷积神经网络Resnet101进行初始化；

32)将包含枸杞树叶及枸杞树叶两个关键点的训练样本输入已经初始化后的Resnet101网络进行权重微调；

33)经过C个网络层依次对训练样本进行特征提取，取其4个残差块分别输出表示图像中不同深度的4个特征图f2、f3、f4、f5；

34)通过特征网络金字塔层融合四个尺度上的特征：

将不同深度的4个特征图f2、f3、f4、f5通过FPN网络进行重新组合，新生成的特征图中f2’、f3’、f4’、f5’,因不取极小目标的枸杞树叶，去掉f2’节省内存，融合后特征图f3’、f4’、f5’同时包含了不同深度的特征信息；

具体fi’的生成方式为：在FPN网络中对f5利用1*1进行降维，最终得到f5’；fi-1’,i＝4,5是当前特征图fi-1,i＝4,5与上一个特征图fi的2倍进行融合；

35)通过区域生成网络RPN获得对应的三个尺度下特征图的预定候选框ROI；

36)区域生成网络后接ROIAlign功能性网络层生成对齐网络：

利用ROIAlign算法从相应的f3’、f4’、f5’三个特征图中裁剪出候选框ROI对应位置的特征作为输入，再通过插值算法和池化作用，将候选框ROI对应的特征变换为统一的尺寸；

ROIAlign功能性网络输入选择的原则是：

针对大尺度的候选框ROI选择f5’层，小尺度的ROI选择f3’层，具体不同尺度候选框ROI选择特征层的计算公式如下：

其中，k₀＝5是基准值，代表f5’层的输出，w、h分别为ROI区域的宽、高；

37)对选取的候选框ROI分别进行树叶边框回归和两个关键点回归、目标分类、树叶掩膜生成；

输出的目标框不仅包含平直框B(x，y，w，h)还包括相应的倾斜框r表示倾斜因子，计算如下：

设定阈值r_t＝15°，若r＜r_t，则目标框选择平直框，否则选择倾斜框，(x，y)为平直框的中心坐标，w、h为平直框的宽和高，l_i＝||v_i-v′_i||，(i∈1，2，3，4)为平直框和倾斜框对应顶点的距离；

多任务目标损失函数为：

L＝L_cls+L_rbox+L_rkpoint+L_mask，

其中，目标分类损失L_cls：采用二分类交叉熵损失函数；

树叶边框回归损失L_rbox：采用SmoothL1损失函数；

两个关键点回归损失L_rkpoint：采用平方损失L2损失函数；

树叶掩膜输出损失L_mask：采用平均二值交叉熵损失函数；

L_rbox＝λ₁×L₁+λ₂×L₂+λ₃×L₃，

其中，L₁，L₂，L₃分别表示平直框、四个因子γ₁，γ₂，γ₃，γ₄和倾斜因子r的smoothL1损失函数，λ₁＝1，λ₂＝1，λ₃＝16用于平衡每一损失项的超参数。