[发明专利]一种基于深度强化学习的外骨骼主助力参数的优化方法

说明书

本发明公开了一种基于深度强化学习的外骨骼主助力参数的优化方法，采用复合正弦曲线形式外骨骼助力曲线方程确定外骨骼主助力参数，利用深度强化学习中的深度确定性策略梯度方法用以解决柔性外骨骼连续性控制问题，搭建策略网络和评价网络，并实时采集并处理外骨骼穿戴者髋关节屈曲角信息，用于产生参数训练的数据集，进行外骨骼主助力参数的训练优化，实现外骨骼主助力参数的自适应优化。

(一)技术领域：

本发明涉及机器人技术领域，具体涉及一种基于深度强化学习的外骨骼主助力参数的优化方法。

(二)背景技术：

对于传统的下肢康复训练，由专业医生指导，并且在护士或家庭成员的协助下完成，该种方式耗时长、成效低、劳动强度大。为减轻人力负担，实现高效康复服务，步态康复柔性外骨骼得到了广泛应用。

步态康复柔性外骨骼结合了智能机器人技术和康复治疗医学理论，可以代替专业医生，帮助患者完成下肢康复训练。它的出现为下肢功能障碍者的康复治疗提供了新的选择，弥补了下肢功能障碍者临床治疗的不足。

步态康复柔性外骨骼的治疗方法是通过一条柔性带将患者的下肢与外骨骼固定在一起。外骨骼驱动病人的下肢完成各种设定的康复训练动作，刺激人体下肢关节和肌肉的神经控制系统，从而实现恢复病人下肢运动功能。步态康复柔性外骨骼的服务对象决定了其需要良好的舒适性与自适应性，能够给患者带来较好的康复体验以及能够适用于不同人群的下肢功能障碍者。因此，如何实现外骨骼深度强化学习的助力参数优化为步态康复柔性外骨骼舒适可靠的核心技术之一。

传统的下肢康复训练，由专业医生指导，并且在护士或家庭成员的协助下完成，该种方式耗时长、成效低、劳动强度大。在下肢功能障碍者康复治疗中，需要对患者进行一系列的连续动作的康复训练，由于患者的下肢情况各不相同，需要对患者精准助力，助力太小会引起患者腿部还未得到指定姿态便结束此动作，导致下肢康复训练效果差；助力过大会引起患者腿部拉伸过大，容易导致患者的二次损伤与不必要的伤害。

传统助力方法中的PID(比例-积分-微分控制)控制方法，根据系统误差，利用比例、积分、微分三项的线性组合计算出控制量进行助力。虽然PID算法由其原理简单、参数易调整等优点，在当今控制中仍被广泛应用，但是在某些情况下会造成预期外的结果。如当期望值与实际值相差过大时，电机会产生过高的速度以达到预期值，这样通常会导致过冲和振荡现象，对于步态康复柔性外骨骼，这种情况是相当危险的。而且该方法不能实现助力参数优化，不仅效率低下而且参数仍存在较大的误差。

针对现有技术的不足，目前亟需一种基于深度强化学习的外骨骼主助力参数优化方法以应对步态康复柔性外骨骼连续助力问题。

(三)发明内容：

本发明的目的在于提供一种基于深度强化学习的外骨骼主助力参数优化的方法，能够克服现有技术的不足，是一种原理简单，技术容易实现的参数优化方法，且可应对步态康复柔性外骨骼连续助力问题，从而可有效解决外骨骼的个性化匹配问题。

本发明技术方案：一种基于深度强化学习的外骨骼主助力参数优化的方法，其特征在于它包括以下步骤：

(1)确定优化参数；

根据外骨骼助力曲线方程确定优化参数，该曲线方程为公式(1)所示复合正弦曲线形式：

式中，F_assist为实时助力大小，A为摆动相助力幅值，t^*是当前时刻到助力开始时刻之间时间，T_b为当前步态周期的摆动相周期，α是为外骨骼主助力参数，作为公式(1)的波形控制参数，起改变助力峰值位置的作用，取值范围为-1≤α≤1；

所述摆动相助力幅值A由助力元器件的额定输出值决定，且在助力元器件额定工作下，摆动相助力幅值为已知值，可人为设定。