[发明专利]基于计算机视觉和深度学习的茶蓬深度分布检测方法

权利要求书

1.一种基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，包括以下步骤：

S1.使用RGB相机采集田间茶园图像，对所述图像中的茶陇区域和茶蓬中心线位置进行标注，制作茶园图像数据集；

S2.使用基于深度学习的茶陇图像分割模型，利用步骤S1所述茶园图像数据集进行训练直至茶陇图像分割模型收敛；根据所述茶陇图像分割模型，输入RGB相机采集待检测的原始图像，输出图像中所包含的茶蓬中心线和茶园区域分割图像；

所述茶陇图像分割模型采用单输入、双输出的前向传播流，包括骨干特征提取网络、特征融合网络和两个预设计的检测分支；所述检测分支中第一个分支基于注意力和位置编码机制，由行列注意力模块、可学习的位置编码模块和多层感知机模块构成，用于提取图像中茶棚中心线相关语义信息，输出图像中茶蓬的中心线；第二个分支基于编码-解码机制，由多头自注意力模块、上采样模块和输出通道为2的全连接层构成，用于提取图像中茶陇区域前景信息，输出茶陇区域语义分割图像；

S3.根据步骤S2所述茶陇区域分割图像，提取茶陇区域分割图像连通域，利用二分图匹配算法对所述连通域与步骤S2所述茶蓬中心线进行匹配，得到茶蓬中心线与茶陇区域匹配关系，根据所述茶蓬中心线与茶陇区域匹配关系，计算茶蓬深度分布特征，并将其映射于茶园区域分割图像中，完成茶蓬深度分布的检测。

2.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S1中所述茶园图像数据集由三个部分组成：原始图像、茶园区域图像标签和茶蓬中心线数据标签，其中茶园区域图像标签和茶蓬中心线数据标签为互相独立绘制；采集过程中，相机与水平方向呈45°~90°夹角，相机与茶蓬最高处的竖直高度保持在0.5m~1m内，保证相机视野内包含茶陇沿相机视角向外延伸。

3.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S2中所述茶陇图像分割模型：

（1）骨干特征提取网络和特征融合网络从原始图像数据提取特征，生成图像数据的高维特征图；

（2）所述检测分支第一个分支由行列注意力模块、可学习的位置编码模块和多层感知机模块构成，该分支提取所述高维特征图中的行列特征，并利用可学习的位置编码进行行列特征与茶蓬中心线特征的映射，最后通过多层感知机生成茶蓬中心线；

（3）所述检测分支第二个分支由多头自注意力模块、上采样模块和输出通道为2的全链接层构成，该分支首先利用多头自注意力模块加强所述高维特征图中前景信息重要度，然后利用上采样模块将高维特征图解码还原为原始图像尺寸，最后通过所述全链接层对图像中所有像素点进行前景背景分类，得到茶陇区域语义分割图像。

4.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法，其特征在于，所述步骤S3中计算茶蓬深度分布特征：

S31.对步骤所述茶陇区域分割图像进行连通域提取，获取茶陇区域所有连通域的类别、面积、中心点位置、外接矩形以及边缘轮廓，剔除连通域面积小于S的连通域；

S32.利用二分图匹配算法将步骤S2所述茶蓬中心线与所有连通域进行匹配，剔除未匹配的茶蓬中心线，得到匹配成功的茶陇区域；

S33.遍历所有步骤S32所述匹配成功的茶陇区域，创建茶蓬深度掩膜，掩膜内处于茶蓬中心线位置的像素点灰度值为最大值，处于茶陇连通域左右边缘位置的像素点灰度值为最小值，掩膜中灰度值的大小代表茶蓬距离地面的相对高度；所述茶陇连通域左右边缘的计算步骤为：

S331.以图像左上角为原点水平向右为x轴，竖直向下为y轴建立坐标系，取出茶陇外接矩形宽w、高h和左上角顶点P(x, y),计算得茶陇上边缘为y，下边缘为y+h；

S332.遍历所有茶陇连通域边缘点，计算纵坐标与茶陇上边缘、下边缘的距离d，若d大于h/100，则判定该边缘点为左右边缘点；

S333.集合所有左右边缘点，得到茶陇连通域左右边缘位置；

S34.检查是否存在未匹配成功的茶陇连通域，若存在，判断其中心点位置与图像竖直方向中心线的相对位置关系，若中心点位置在图像竖直方向中心线左侧，则以连通域右边缘为灰度最小值，左边缘为灰度最大值构建茶蓬深度掩膜；若中心点位置在图像竖直方向中心线右侧，则以连通域右边缘为灰度最大值，左边缘为灰度最小值构建茶蓬深度掩膜；

S35.将步骤S33与步骤S34构建的茶蓬深度掩膜进行拼接后即为输入图像中茶蓬的深度分布特征。