[发明专利]一种基于平面视觉深度强化学习的机械臂抓取控制方法

权利要求书

1.一种基于平面视觉深度强化学习的机械臂抓取控制方法，包括机械臂，其特征在于：所述机械臂通过马尔可夫决策过程建立深度强化学习模型，所述机械臂根据当前获取到的状态图像决定行为决策，与过去的状态图像无关，将其转换为数学模型，将机械臂的目标物体进行随机摆放，所述机械臂寻找目标点的过程的动作采用随机连续抓取，所述机械臂输出的动作放在数组Q，所述机械臂的控制包括采用深度确定性梯度算法，所述机械臂基于单目摄像头拍摄的图片作为输入，通过先进的ViT算法对图片进行特征提取，对Mask区域采用像素级的颜色阈值划分。

2.根据权利要求1所述的一种基于平面视觉深度强化学习的机械臂抓取控制方法，其特征在于：所述深度确定性梯度算法包括采用Actor-Critic框架，由4个神经网络组成，2个结构相同的网络，分别是Actor网络和Critic网络，Actor网络选出动作网络，输入状态，输出动作，Critic网络评价动作网络，输入状态，输出Q，目标值与估计Q值的差，进行梯度计算，其结果作为误差，用误差影响动作的输出能获得更大奖励的动作。

3.根据权利要求2所述的一种基于平面视觉深度强化学习的机械臂抓取控制方法，其特征在于：所述奖励稀疏所导致导致强化学习困难的原因，将奖励稀疏的失败探索原因和经历构建为一个经验池，采用后视经验回放HER方法。

4.根据权利要求1所述的一种基于平面视觉深度强化学习的机械臂抓取控制方法，其特征在于：所述机械臂的程序每次初始化，所述机械臂的输出的动作都是随机的，所述机械臂抓取的物体是目标物体，则获取相应奖励，否则奖励为零。