[发明专利]一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法

说明书

本发明公开了一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法。本发明针对具有自评估模块的机器人任务可以在执行动作之前评估该动作的特性，充分利用动作的自评估结果，将其建模到错误可知的策略学习中，利用循环神经网络隐式地编码观测和评估的记忆，使得策略本身具有基于之前的错误尝试进行分布更新的能力，从而使得最终执行的动作更加安全可靠。相比于通用的排序策略，本发明考虑了之前尝试的自评估结果对动作概率值分布的影响，从而可以再观测不变的情况下根据已知的失败更新策略分布，使得探索的次数尽可能少，更适用于机器人算法的在线调整。

技术领域

本发明涉及一种自评估机器人任务中错误可知的策略学习方法，具体地说，是一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法。

背景技术

目前，如何保证现实生活机器人应用的安全仍然是一个重要的挑战，尤其是在将基于学习的算法应用到训练未见过的场景时。一种常用的做法是利用一些事先定义好的自评估规则来在执行动作之前验证当前选择的动作是否可行。比如说，自动驾驶的大部分工作会利用一些先验的全局地图来预测执行当前选择的动作可能带来的碰撞。一旦预测存在碰撞的危险，那么就需要重新选择动作。然而，由于是在动作执行之前进行评估，机器人的观测是保持不变的，也就是说，对于训练好的策略，同样的动作会被重新选择然后再次被评估失败。这就带来一个问题：如何在剩下的未尝试过的动作中重新选择一个动作去执行？一种主观的方法是如果当前选择的(对于策略来说具有最大概率值)动作被评估为失败，那么就选择具有第二概率值的动作，这种策略称为排序策略。该策略假设第二概率值的动作就是在当前选择动作失败的情况下概率值最大的动作。也就是说，之前动作的失败不会影响剩下未尝试动作的概率分布。这就会导致动作的重新选择会限制到预训练的策略的样本分布中，从而动作的重新选择并不能利用到已知的失败尝试，如何在观测不变的情况下，利用已知的失败尝试更新策略分布，从而使得探索的次数尽可能少、成本尽可能低是目前工作尚未解决的难点。

发明内容

本发明正是针对现有技术存在的问题，提供了一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，利用自评估模块得到的当前动作是否可靠的信息进行动作的重新选择。

具体地，该方法针对自评估机器人任务，也就是机器人具有一个事先定义好的较为准确的自评估模块能够评估当前观测下执行某个动作是否会失败(产生碰撞、规划失败等等)。利用自评估模块对当前动作的评估，建立一个基于动作的表征来表示评估结果，并通过循环神经网络处理得到新的动作分布，并重新选择具有最大概率值的动作。本方法旨在通过最少次数的尝试来得到一个能通过自评估模块检测的解。

进一步地，本发明将该问题进行建模：

给定任务观测o，一个预训练的策略π₀(o)生成初始动作a₀，继而自评估模块SA评估该动作成功或失败。如果失败，则激发错误可知的策略π_FA进行动作的重新选择。基于任务观测o，π_FA根据之前动作的自评估结果来生成一个新的动作a_t(t表示尝试步数)，直到从自评估模块SA给出成功的评估。

本发明是通过以下技术方案来实现的：

一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，包括：

步骤1：获得任务观测o；

步骤2：根据预训练的策略π₀(o)网络得到初始动作a₀；

步骤3：根据自评估模块SA判断所述的动作是否失败；

步骤4：如果失败，则将该动作表征到基于动作的记忆矩阵m_t中；

步骤5：错误可知的策略π_FA利用循环神经网络处理记忆矩阵得到新的动作分布，根据新的动作分布选择具有最大概率值的动作a_t；