[发明专利]一种机器人移动控制的方法、系统及设备

说明书

本申请公开了一种机器人移动控制的方法，包括：建立基于线性动态跳帧的深度双Q网络模型；接收输入的初始参数值及环境信息；利用评估网络模型在初始状态下执行初始策略计算动作集合中每个动作的Q值，并根据各Q值来确定对应动作的跳帧率；根据目标网络模型计算环境信息的目标值；根据目标值确定最优策略，并令机器人执行最优策略进行移动。本申请所提供的技术方案，根据网络输出动作Q值的大小来线性地决定每个动作的跳帧率，在不增加网络计算量的前提下，高效准确地计算出了每个动作需要重复执行的次数，提高了机器人移动的运算速度及场景识别准确度。本申请还提供了一种机器人移动控制的系统、设备及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及人工智能领域，特别涉及一种机器人移动控制的方法、系统、设备及计算机可读存储介质。

背景技术

人工智能(ArtificialIntelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括智能点餐机器人、语言识别、图像识别、自然语言处理和专家系统等。

近年来，机器人已经越来越多的应用于生产生活中，如排险、军事探测、医疗护理等；而机器人的定位与导航在实现上述功能中发挥着关键的作用，快速而又准确地识别机器人所处环境是机器人准确定位的前提。

现有技术中对于机器人移动控制的方法主要是基于深度学习算法进行实现，深度Q网络模型作为典型的深度学习算法，其中的一个重要参数是跳帧率，反映了Agent重复执行选定动作的次数。在深度Q网络及其改进算法中大多使用了静态的跳帧方法，即动作被重复执行固定的次数。Aravind等人则提出一种动态跳帧的深度Q网络算法(记为DF-DQN)。DF-DQN将网络输出层节点数量扩大一倍，跳帧率为4或者20。然而这样的设置会导致网络的计算量增长一倍，并且可能会导致不好的动作被执行多次，从而影响学习的效率，进而影响了机器人移动的运算速度及场景识别准确度。

因此，如何提高机器人移动的运算速度及场景识别准确度是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种机器人移动控制的方法、系统、设备及计算机可读存储介质，用于提高机器人移动的运算速度及场景识别准确度。

为解决上述技术问题，本申请提供一种机器人移动控制的方法，该方法包括：

建立基于线性动态跳帧的深度双Q网络模型；其中，所述深度双Q网络模型包括目标网络模型和评估网络模型；

接收输入的初始参数值及环境信息；其中，所述初始参数值包括初始策略、初始状态及动作集合；

利用所述评估网络模型根据所述初始状态及所述初始策略计算所述动作集合中每个动作的Q值，并根据各所述Q值来确定对应动作的跳帧率；

根据各所述跳帧率确定每个动作需要执行的次数，对所述评估网络模型进行训练，得到最优评估网络模型；

将所述最优评估网络模型的权重复制给所述目标网络模型，并根据所述目标网络模型计算所述环境信息的目标值；

根据所述目标值确定最优策略，并令机器人执行所述最优策略进行移动。

可选的，所述根据各所述跳帧率确定每个动作需要执行的次数，对所述评估网络模型进行训练，得到最优评估网络模型，包括：

行为策略根据当前状态下所述各动作的跳帧率确定Agent执行的动作和所述动作需要执行的次数；