[发明专利]一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法

权利要求书

1.一种基于机器视觉的采摘点检测模型构建方法，其特征在于，所述方法包括：

S110：获取待采摘目标围绕待采摘本体树冠拍摄的多组RGB图像和多组深度图像数据；

S120：根据视角映射算法将多组所述深度图像与多组所述RGB图像对齐，并生成基于所述采摘目标的第一点云集合；

S130：基于三维重建方法，获取所述采摘本体树冠层的第二点云集合；

S140：将所述第一点云集合作为训练集，将所述第二点云集合作为测试集和验证集，采用Alpha-IoU_3D作为VoteNet网络的边框损失函数，训练VoteNet网络，得到用于检测采摘目标的采摘点检测模型。

2.根据权利要求2中所述的一种基于机器视觉的采摘点检测模型构建方法，其特征在于，所述步骤S110还包括：

利用中值滤波算法去除所述深度图像中的噪声，将RGB图像和深度图像裁切至适应尺寸；保留所述RGB图像和所述深度图像的完整深度信息。

3.根据权利要求1中所述的一种基于机器视觉的采摘点检测模型构建方法，其特征在于，所述步骤S120包括：

以所述RGB图像为参考视角，利用视角映射算法将所述深度图像与所述RGB图像对齐并生成基于采摘目标第一点云集合。

4.根据权利要求3中所述的一种基于机器视觉的采摘点检测模型构建方法，其特征在于，根据视角映射算法将多组所述深度图像与多组所述RGB图像对齐，其步骤为：

将所述RGB图像像素坐标系中的像素点(u，v)转换到RGB相机坐标系(x_c，y_c，z_c)中，公式为：

其中，(x_rgb，y_rgb，z_rgb)为所述RGB图像各像素在相机坐标系中的坐标，f_x、f_y、c_x和c_y为深度相机RGB镜头内参；

计算深度相机坐标系到RGB相机坐标系转换的欧式变换矩阵，公式为：

其中，R_w2rgb、T_w2rgb分别为世界坐标系转换到RGB相机坐标系的旋转矩阵、平移矩阵；R_w2d、T_w2d分别为世界坐标系转换到深度相机坐标系的旋转矩阵、平移矩阵，所述深度相机坐标系为深度相机的深度镜头坐标系；

将所述深度图像映射到RGB图像，其公式为：

其中，K_rgb和K_d分别为RGB相机内参和深度相机内参，表示为深度图像在像素坐标系的坐标，z表示在Z轴上归一化，T_d2rgb表示深度相机坐标系转换到RGB相机坐标系的平移矩阵；所述深度相机内参为深度相机深度镜头内参；

且利用深度图像和RGB图像生成点云的公式为：

Pts_w＝∑(x_w，y_w，z_w)

其中，(x_w，y_w，z_w)为深度图像结合RGB图像所生成点云在世界坐标系下点的坐标，(u_d，v_d)表示深度图像像素点；z_d表示像素点(u_d，v_d)在深度图像中的深度值；z_w表示深度图像结合RGB图像所生成点云中的一点在z轴上的距离。

5.根据权利要求1中所述的一种基于机器视觉的采摘点检测模型构建方法，其特征在于，所述步骤S140包括：

标注采摘本体的树冠层的点云，根据采摘目标的采摘标准，将标注区域分为多个标签；

其中，标注方式为通过三维立体框框选采摘目标的采摘区域，使采摘目标的采摘点位于所述三维立体框底面中心，确定为采摘目标的采摘点。