[发明专利]基于关节分组策略的智能体元动作学习方法

说明书

一种基于关节分组策略的智能体元动作学习方法，用于机器人自动控制，通过关节分组和元动作的时空融合来控制机器人快速学会新任务，从而避免了花费大量时间进行从头训练。提出了一个信息论目标来优化强化学习算法训练机器人，从而学会一系列多样的元动作策略；基于动态时间规整算法进行关节之间的轨迹相似性计算，进而基于层次聚类算法实现机器人关节的分组；根据关节组对应掩码得到不同关节组的元动作控制策略；构建层次结构的机器人总控制策略网络，通过线性组合各个关节组元动作策略的权重，实现在时间层面和空间层面上的元动作融合，从而能够快速学会新任务；同时，增强机器人动作的协调性和连贯性，在新任务上能够达到更好的表现。

技术领域

本发明涉及基于关节分组策略的智能体元动作学习技术，属于智能体自主动作学习技术领域。

背景技术

随着人工智能算法的兴起和各硬件设备的高速发展，机器人技术已在医疗、服务、装配、安保、救援、运输等多个领域中发挥着重要的作用。各个领域中所需要的机器人技能之间相似度低，而针对单一任务进行机器人的定制化部署是费时费力的。因此，如何让机器人从不同任务中学习一系列的基础元动作，从而进一步组合成在不同的技能是我们一直以来追求的目标。机器人作为任务的主要执行机构，研究如何发掘不同动作轨迹下的相似性知识并加以利用尤为重要。

传统的机器人控制方法极度依赖于技术人员的专业知识和软件编程水平，且针对特定的任务目标需要设计不同的机器人轨迹分布。当应用场景变化后，之前部署的机器人技能无法重复利用。深度强化学习方法能够通过探索和利用的方式来使得机器人自主学习任务相关的技能，然而某些任务无法设计合适的奖励函数来清晰描述任务目标。此外，这种学习方式也需要针对不同的任务手工设计对应的奖励函数，智能体根据不同的奖励函数从头开始探索，直到完成训练得到较好的控制策略，这种学习方式数据利用率低，在仿真环境中可能需要成百上千个小时来收集数据和训练策略，这在现实场景中是不切实际的。

在日常生活和工作中，人类往往能够将动作分解为不同的关节组，比如手臂、躯干、腿部等等，再经过不同的动作组合来完成各种任务。机器人如何学习所需的基础元动作从而快速学会新技能仍是一个挑战。基于此，本发明提出了一种基于关节分组策略的智能体元动作学习方法。通过这个方法，机器人可以基于一个信息论优化目标学习一系列可区分的元动作，再经过层次结构组合不同关节角的元动作来完成新的任务，从而保证了元动作在时空上进行组合，避免了从头开始的强化学习训练。

发明内容

针对现有技术中存在的局限和不足，本发明提出了一种基于关节分组策略的智能体元动作学习方法，思路为：将机器人的序贯决策问题建模为马尔科尔决策过程，基于一个信息论目标优化深度强化学习算法来训练机器人，从而建立元动作库。在采样得到各个关节的动作轨迹后，根据动态时间规整算法和层次聚类算法进行关节分组，并将元动作分解成多个关节组元动作。当机器人需要执行新任务时，机器人能够基于层次结构在时空层面组合各个关节组元动作，从而快速进行强化学习训练并完成新任务。

本发明的创新点在于：

(一)提出一个信息论目标代替与任务高度相关的奖励函数，来优化深度强化学习，通过最大熵策略学习区分度高、相似性低的元动作，探索元动作的多样性，从而建立机器人的元动作库。

(二)提出基于轨迹相似度的机器人关节分组算法。在基础任务的强化学习训练后，采样各关节的动作轨迹。根据动态时间规整算法计算关节间的相似性，最终基于层积聚类算法得到关节分组，降低了元动作学习的难度，同时使得各关节组元动作组合后的整体动作更加平滑。

(三)提出了基于元动作时空融合的分层控制策略，能够避免从头开始训练，大大缩短了深度强化学习算法的训练时间，利用动作的先验知识来更快、更好地学会新任务。

技术方案