[发明专利]基于求解的内省来增强强化学习智能体的训练以对机器人和自主载具进行控制和规划

权利要求书

1.一种用于控制移动平台的系统，所述系统包括：

移动平台；以及

非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得所述可执行指令被执行时，所述一个或更多个处理器执行以下操作：

基于所述移动平台的当前状态，训练在所述移动平台上运行的神经网络π；

周期性地查询能够对非线性激活函数进行推理的可满足性模理论(SMT)解算器，以获得满足所述移动平台的指定约束的多个状态示例；

在所述多个状态示例上训练所述神经网络π；

在所述多个状态示例上训练之后，选择要由所述移动平台在该移动平台的环境中执行的动作；以及

使所述移动平台在该移动平台的环境中执行所选择的动作。

2.根据权利要求1所述的系统，其中，所述SMT解算器是根据查询调度来查询的。

3.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：通过执行状态空间量化算法，利用所述SMT解算器生成所述多个状态示例。

4.根据权利要求3所述的系统，其中，所述一个或更多个处理器还执行以下操作：在生成所述多个状态示例时，应用至少一个查询约束。

5.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：

将处理算法应用于所述多个状态示例，产生经处理的状态示例的集合；以及

在所述经处理的状态示例的集合上训练所述神经网络π。

6.一种用于控制移动平台的计算机实现的方法，所述方法包括以下动作：

使一个或更多个处理器执行被编码在非暂时性计算机可读介质上的指令，使得在执行时，所述一个或更多个处理器执行以下操作：

基于所述移动平台的当前状态，训练在所述移动平台上运行的神经网络π；

周期性地查询能够对非线性激活函数进行推理的可满足性模理论(SMT)解算器，以获得满足所述移动平台的指定约束的多个状态示例；

在所述多个状态示例上训练所述神经网络π；

在所述多个状态示例上训练之后，选择要由所述移动平台在该移动平台的环境中执行的动作；以及

使所述移动平台在该移动平台的环境中执行所选择的动作。

7.根据权利要求6所述的方法，其中，所述SMT解算器是根据查询调度来查询的。

8.根据权利要求6所述的方法，其中，所述一个或更多个处理器还执行以下操作：通过执行状态空间量化算法，利用所述SMT解算器生成所述多个状态示例。

9.根据权利要求8所述的方法，其中，所述一个或更多个处理器还执行以下操作：在生成所述多个状态示例时，应用至少一个查询约束。

10.根据权利要求6所述的方法，其中，所述一个或更多个处理器还执行以下操作：

将处理算法应用于所述多个状态示例，产生经处理的状态示例的集合；以及

在所述经处理的状态示例的集合上训练所述神经网络π。

11.一种用于控制移动平台的计算机程序产品，所述计算机程序产品包括：

计算机可读指令，所述计算机可读指令被存储在非暂时性计算机可读介质上，所述计算机可读指令能够由具有一个或更多个处理器的计算机执行，以使所述处理器执行以下操作：

基于所述移动平台的当前状态，训练在所述移动平台上运行的神经网络π；

周期性地查询能够对非线性激活函数进行推理的可满足性模理论(SMT)解算器，以获得满足所述移动平台的指定约束的多个状态示例；

在所述多个状态示例上训练所述神经网络π；

在所述多个状态示例上训练之后，选择要由所述移动平台在该移动平台的环境中执行的动作；以及

使所述移动平台在该移动平台的环境中执行所选择的动作。