[发明专利]使用多模态输入选择动作

权利要求书

1.一种训练用于选择要由与环境交互的智能体执行的动作的系统的方法，其中所述环境是真实世界环境或模拟环境，其中所述智能体是机器人，或者是半自主或自主载具，并且其中所述动作是控制机器人或者半自主或自主载具的控制输入；该系统包括一个或多个计算机以及一个或多个存储设备，该一个或多个存储设备存储指令，所述指令当由所述一个或多个计算机执行时，使所述一个或多个计算机实现：

语言编码器模型，被配置为：

接收特定自然语言的输入文本串，以及

处理输入文本串以生成输入文本串的文本嵌入；

观察编码器神经网络，被配置为：

接收表征环境的状态的输入观察，以及

处理输入观察以生成输入观察的观察嵌入：

动作选择神经网络，被配置为：

接收输入组合嵌入，以及

处理输入组合嵌入以生成动作选择输出；以及

子系统，被配置为：

接收特定自然语言的当前文本串，所述当前文本串是用于所述智能体执行由智能体当前正在执行的当前任务的指令；

提供当前文本串作为语言编码器模型的输入，以获得当前文本串的当前文本嵌入；

接收表征环境的当前状态的当前观察；

提供当前观察作为观察编码器神经网络的输入，以获得当前观察的当前观察嵌入；

组合当前观察嵌入和当前文本嵌入，以生成当前组合嵌入；以及

使用当前组合嵌入，通过以下来选择智能体响应于当前观察要执行的动作：

提供当前组合嵌入作为动作选择神经网络的输入，以获得当前动作选择输出；以及

使用当前动作选择输出，选择智能体响应于当前观察要执行的动作；

所述方法包括通过以下来训练语言编码器模型、观察编码器神经网络和动作选择神经网络的方法：

接收作为智能体响应于当前观察执行当前动作的结果的当前奖励；

通过执行机器学习训练技术的迭代以优化基于当前奖励的任务特定目标，确定动作选择神经网络的参数的当前值的任务特定更新；以及

通过将任务特定目标的梯度反向传播通过动作选择神经网络并且到语言编码器模型和观察编码器神经网络中，确定语言编码器模型和观察编码器神经网络的参数的当前值的任务特定更新。

2.根据权利要求1所述的方法，其中，所述当前动作选择输出定义智能体要执行的可能动作上的概率分布，并且其中，选择智能体要执行的动作包括：从所述概率分布中采样动作或根据概率分布选择具有最高概率的动作。

3.根据权利要求1所述的方法，其中，对于智能体要执行的多个可能动作中的每一个，所述当前动作选择输出包括相应的Q值，所述相应的Q值是智能体响应于当前观察执行所述可能动作而导致的回报的估计，并且其中，选择智能体要执行的动作包括：选择具有最高Q值的动作。

4.根据权利要求1-3中任一项所述的方法，其中，所述语言编码器模型是递归神经网络。

5.根据权利要求1-3中任一项所述的方法，其中，所述语言编码器模型是词袋编码器。

6.根据权利要求1所述的方法，其中，所述当前观察嵌入是当前观察的特征矩阵，并且其中，所述当前文本嵌入是当前文本串的特征向量。

7.根据权利要求6所述的方法，其中，组合当前观察嵌入和当前文本嵌入包括：

将当前观察的特征矩阵扁平化；以及

拼接扁平化的特征矩阵和当前文本串的特征向量。

8.根据权利要求1所述的方法，其中，所述任务特定目标是使响应于智能体在当前任务的执行期间执行的动作而接收的时间折扣期望回报最大化，并且其中，执行所述机器学习训练技术的迭代包括：执行强化学习技术的迭代，以使用当前奖励和当前动作选择输出来优化任务特定目标。

9.根据权利要求1所述的方法，其中，所述当前动作选择输出还包括预测的期望回报输出，所述预测的期望回报输出是环境处于当前状态而导致的时间折扣回报的估计，并且其中，执行强化学习技术的迭代包括：执行执行器-评价器技术的迭代。