[发明专利]一种基于动态模型强化学习的倒水服务机器人控制方法

权利要求书

1.一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的控制方法包括：

步骤1：基于深度相机获取三维空间的视觉信息；

步骤2：利用深度神经网络完成对机器人、源容器和目标容器的识别，同时获得源容器、目标容器之间的相对位置信息、液体类型以及液位高度信息，完成状态信息的获取；

步骤3：根据步骤2获取的信息建立动态模型模拟当前环境，并利用动态模型对策略网络进行训练；

所述的步骤3具体为：

驱动机器人与当前环境进行随机交互，并收集数据，建立动态模型来模拟当前真实环境，利用收集的数据训练动态模型来拟合当前的真实环境，训练方法采用共轭梯度下降法，损失函数具体为：

然后利用动态模型对策略网络进行训练；

建立动态模型的方法为：

通过对多个全连接神经网络进行模型集成对动态环境进行建模，建立的动态模型中的每个全连接神经网络结构相同，都由两个隐藏层构成，每个隐藏层包括20个神经元；

动态模型是一个高斯神经网络，网络的输入是上一时刻的状态和动作，网络输出是一个高斯分布的均值和方差，从输出的高斯分布中进行采样即可以得到下一时刻的预测状态；

高斯神经网络的表达式具体为：

其中，μ为下一时刻状态的均值，σ为下一时刻状态的方差，θ为网络参数；

步骤4：待策略网络收敛后，将机器人的位姿信息和状态信息输入至策略网络，输出机器人动作策略；

步骤5：使用步骤4预测出的机器人动作策略驱动机器人完成倒水动作。

2.根据权利要求1所述的一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的步骤2具体为：

基于深度相机获取空间中的图像后，通过深度卷积神经网络提取图像中各个目标物体的空间信息，经过处理后得到该空间下以机器人为原点的相对坐标信息(Δx,Δy)、源容器和目标容器的相对倾斜角α，同时判断液体类型n和检测液位高度h_r，并根据液体类型对检测出来的液位高度进行修正得到最终的估计液位h，最后将上述信息合并获得状态向量s，即(Δx,Δy,h,α)。

3.根据权利要求2所述的一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的液位高度修正方法为：

其中，θ是摄像机相对于目标容器的角度，C为超参数。

4.根据权利要求1所述的一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的利用动态模型对策略网络进行训练的方法具体为：

策略网络与动态模型进行交互获得模拟数据，利用模拟数据对策略网络的参数进行更新，完成策略网络的训练。

5.根据权利要求4所述的一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的策略网络与动态模型进行交互的步长范围为[3,6]步，每一步交互均是从动态模型中采样一个高斯神经网络，通过若干次交互得到充足的模拟数据。

6.根据权利要求1所述的一种基于动态模型强化学习的倒水服务机器人控制方法，其特征在于，所述的策略网络具体为：

包括动作评估模块和动作选择模块，使用确定性策略方法对策略进行表示；

采用与真实环境的交互数据对策略网络进行预训练，训练时采用梯度下降法进行策略网络的参数更新；

策略网络的损失函数包括动作评估网络损失函数和动作选择网络损失函数；

所述的动作选择网络损失函数为：

Loss₁＝-Q(s,μ_θ(s))

其中，Q为动作评估网络的输出，θ为动作选择网络的网络参数，μ为动作选择网络的输出；

所述的动作评估网络损失函数为：

Loss₂＝(r+γQ(s',a'；w)-Q(s,a；w))²

其中，w是动作选择网络的网络参数，r为环境的单步奖励，γ为折扣因子，s为当前时刻的状态，a为根据当前时刻状态所采取的动作，s'为下一时刻的状态，a'为下一时刻的预测动作。