[发明专利]一种基于Actor-Critic深度强化学习的同心管机器人控制方法

说明书

一种基于Actor‑Critic深度强化学习的同心管机器人控制方法。本发明包括如下步骤：1)设置同心管机器人几何参数和力学参数，并建立其运动学模型；2)数据预处理，获得同心管曲率‑位置状态集合；3)利用同心管曲率‑位置状态集，更新Actor网络和Critic网络参数；4)根据最终的收敛模型，可以得到基于Actor‑Critic深度强化学习的同心管机器人最优控制策略，即所需采用的驱动量。与现有技术相比，本发明通过深度强化学习的方法，获取了同心管机器人逆运动学计算方法，最终得到了更精确的逆运动学解。

技术领域

本发明涉及同心管手术机器人领域，具体涉及一种基于Actor-Critic深度强化学习的同心管机器人控制方法

背景技术

目前随着社会医疗水平的提高，高精度、高稳定性的手术机器人开始逐步介入医学。相比于具有刚性关节的机械手，一种可灵活弯曲，并可沿着既定的非线性路径到达目标位置的同心管机器人开始受到人们的广泛关注。

同心管机器人由多根预弯曲的超弹性镍钛合金管嵌套而成，并由驱动端管的旋转和伸缩来改变机器人的姿态。同心管基于经典弹性杆模型建立静力学平衡方程进行正运动学的求解计算，并已能够在建模中考虑摩擦及外力。但由于其没有明显的关节区分，并且是一种容易发生分岔的非线性系统，故同心管机器人的逆运动学求解是很有挑战性的。

发明内容

为了克服使用雅可比矩阵方法容易使系统陷入无解的不足，提高逆运动学求解的准确性，本发明提出一种基于Actor-Critic深度强化学习的同心管机器人控制方法，可以有效处理同心管机器人的逆运动学，并能在奖励收敛后得到对于期望位置的最优驱动输入量。

本发明所采用的技术方案是：

一种基于Actor-Critic深度强化学习的同心管机器人控制方法，包括以下步骤：

1)利用静力学平衡法建立了同心管机器人运动学模型，并根据刚度要求和稳定性判据设置同心管的几何参数和力学参数，使系统满足刚度主宰且避免发生非线性分岔：

其中L为机器人预弯曲部分的总长度，r为任意相邻同心预弯管的曲率乘积，K为同心管的刚度，σ也是直接和机器人几何、力学参数相关的量，N为组成同心管机器人所用的镍钛管数量；

2)将同心管机器人的逆运动学描述为马尔科夫决策过程MDP，且状态设置为S_t＝{U₁,...,U_N,P_c,P_t}，其中U_i＝[u_ixu_iyu_iz]为当前时刻同心管机器人末端点的曲率向量，P_c和P_t分别为当前时刻机器人末端点和期望的笛卡尔空间位置向量；动作则设置为相对上一时刻的旋转和伸缩输入增量：

A_t＝{Δθ₁,Δφ₁,…,Δθ_N,Δφ_N}

其中θ_i和φ_i分别为同心管的旋转和伸缩输入量，且本发明规定旋转输入的变化量|Δθ_i|≤3°，伸缩输入的变化量|Δφ_i|≤0.2mm，在此基础上得到的实际输入量还需满足：

θ_i∈[-2π,2π]

φ_i∈[0,l_i]

l_i为第i根镍钛管的长度；