[发明专利]一种串型水果分布式视觉主动感知方法及其应用

权利要求书

1.一种串型水果分布式视觉主动感知方法，其特征在于包括下述步骤：

(1)确定多类视觉传感器信息的耦合关系，布置分布式视觉方案；

(2)采用大视场相机获取果树的大视场图像，以进行大视场目标感知：即利用实例分割网络Mask R-CNN对大视场图像中的串型水果目标进行检测和识别，获得串型水果的空间信息，利用视觉显著性算法评估大视场图像中的串型水果目标的品质状态，然后根据串型水果目标的空间信息和品质状态进行多目标采摘顺序规划，得到各个串型水果目标的采摘优先级，同时确定二次感知的各采摘预备点；

所述视觉显著性算法，即改进Itti显著图模型，是提取多尺度亮度、方向、拮抗颜色对(R-G,B-Y,Cr-Cb,S-H)金字塔特征，在中等尺度上进行特征融合加权计算，得到像素级视觉显著图；

所述评估水果目标品质状态，是指大视场相机通过Mask R-CNN识别的水果区域在显著图中匹配，获得各水果目标的视觉显著信息，然后计算各水果目标的平均显著度来量化完好水果的品质状态；

所述多目标采摘顺序规划，是对Mask R-CNN识别的大视场图像中所有串型水果区域，采摘顺序规划模型收集各串水果的面积、距离信息和平均显著度数据，归一化之后映射到三维空间，将顺序规划问题转化为旅行商问题，利用遗传算法定义遗传算法的适应度函数，在显著度-面积-深度距离空间下迭代搜索最优采摘顺序路径，为每个水果分配采摘优先级，最终得到串型水果的采摘顺序并在大视场图像中标记出序号，进而引导机械手有序采摘树上串型水果目标；

(3)驱动机械手到达一个采摘预备点后，小视场相机随着机械手运动，近距离感知和观察串型水果，获取动态的小视场图像，以进行二次感知：结合智能推理与知识建模方法建立视觉与机械手关联的运动控制模型，实现小视场目标的主动感知与采摘智能决策，即机械手通过自主学习和探索到达采摘串型水果的最优视角，小视场相机在最优视角处再次获取图像进行姿态估计，并计算采摘点的位置，机械手运动至采摘点的位置并执行采摘动作，将采摘完成的串型水果放入收集装置；

所述机械手通过自主学习和探索到达采摘串型水果的最优视角，是指采用虚拟实验的方法，在仿真系统内建立PPO强化学习网络：首先，根据机械手各转轴运动特点建立仿真机械手随机运动模型，当机械手末端执行器移动到小视域栅格图像中的下一观察位置时，目标函数的值发生改变，为了使串型水果目标的信息最大化，即最大化目标函数，建立对应奖赏机制；通过随机运动探寻不同观察位置不同的目标函数值F(x_i)，更新最大目标函数maxF(x)的值，即F(x_i)＞maxF(x)时，maxF(x)＝F(x_i)，终止回合并根据maxF(x)大小给予奖励；同时根据时间的花销给予惩罚，惩罚指标按串型水果分布形态复杂程度和不同遮挡程度进行设置，具体为：

R_publish＝R_restart-k₁f₁(x)-k₂f₂(x)

式中，R_restart为惩罚初始值，权重值k₁+k₂＝1，f₁(x)为串型水果分布形态复杂程度归一化大小，f₂(x)为不同遮挡程度归一化大小；在下一回合中机械手会随机探寻另一条道路以获取更高的maxF(x)，通过多次训练，得出目标函数最优解，最终得到机械手最优观测视角的姿态信息以及对应的采摘预备点；

(4)驱动机械手到达另一个采摘预备点，重复执行步骤(3)，直到所有采摘预备点的串型水果目标采摘完毕。

2.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(1)中，所述确定多类视觉传感器信息的耦合关系，包括大视场相机和小视场相机的空间映射关系，以及相机内部视觉传感器之间的变换矩阵；所述布置分布式视觉方案，是指根据自然环境图像采集与分析实验，设计大视场相机和小视场相机结合的分布式视觉方案，进而确定大视场相机、小视场相机与机械手的空间坐标映射关系，建立关系模型。