[发明专利]一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法

权利要求书

1.一种基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，包括：

步骤1：获得任务观测o；

步骤2：根据预训练的策略π₀(o)网络得到初始动作a₀；

步骤3：根据自评估模块SA判断所述的动作是否失败；

步骤4：如果失败，则将该动作表征到基于动作的记忆矩阵m_t中；

步骤5：错误可知的策略π_FA利用循环神经网络处理基于动作的记忆矩阵m_t得到新的动作分布，根据新的动作分布选择具有最大概率值的动作a_t；

步骤6：重复步骤3-5，如果步骤3中自评估模块SA评估通过，则执行所述的动作。

2.根据权利要求1所述的基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，所述的步骤2中，预训练的策略π₀(o)为对应机器人任务在训练数据上训练得到的策略，所述的策略选择的初始动作a₀为该策略估计的具有最大概率值的动作。

3.根据权利要求1所述的基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，所述的步骤3中，自评估模块SA由下式表示；

4.根据权利要求1或2或3所述的基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，所述的步骤4中，基于动作的记忆矩阵m_t是一个二值矩阵，每个元素表示对应动作的自评估结果；m_t初始化为一个全1的矩阵，大小和动作空间大小一致，若某个动作被评估为失败，那么该动作对应的元素将被置0；每尝试一个动作失败，m_t被更新一次，直到选择的动作通过自评估模块SA的检测。

5.根据权利要求4所述的基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，所述的步骤5中，错误可知的策略π_FA由下式表示：

a_t+1＝π_FA(m_t|o；θ)

其中θ为π_FA可学的网络参数，所述的利用循环神经网络处理记忆矩阵得到新的动作分布包括以下步骤：

步骤51：当t＝0时，针对初始观测，利用观测编码器E_o编码观测o，当t＞0时，使用记忆编码器E_m得到基于动作的记忆矩阵m_t，得到的编码记为e；

步骤52：利用循环神经网络GRU编码e得到基于动作的特征；

步骤53：使用解码器D解码得到动作概率分布，并选择具有最大概率值的动作；

6.根据权利要求1所述的基于循环神经网络的自评估机器人任务中错误可知的策略学习方法，其特征在于，为了减少路径规划算法带来的时耗，尝试次数限制在5次以内，若5次以内得到了一个通过自评估模块SA检测的解，则该任务视为成功完成。