[发明专利]使用超模型的探索

权利要求书

1.一种用于选择要由与环境交互的代理执行的动作的方法，所述方法包括，在多个时间步骤中的每个时间步骤处：

根据可能索引变量的连续空间上的概率分布，从所述可能索引变量的连续空间采样一个或多个索引变量；

对于所述一个或多个索引变量中的每个索引变量：

根据超模型的多个参数值使用所述超模型处理所述索引变量，以生成指定环境模型的多个参数值的超模型输出；并且

根据由所述超模型输出为所述索引变量指定的所述环境模型的多个参数值，使用所述环境模型生成动作选择输出；以及

使用针对所述一个或多个索引变量的一个或多个动作选择输出来选择要由所述代理在所述时间步骤处执行的动作。

2.根据权利要求1所述的方法，其中，根据由所述超模型输出为所述索引变量指定的所述环境模型的多个参数值，使用所述环境模型生成动作选择输出包括，对于能够由所述代理执行的可能动作集合中的每个动作：

使用所述环境模型处理包括指定所述动作的数据的输入，以生成对所述代理将会接收到的奖励的估计，作为执行所述动作的结果。

3.根据权利要求2所述的方法，其中，所述输入还包括表征在所述时间步骤处的所述环境的当前状态的观测。

4.根据权利要求1-3中任一项所述的方法，其中，使用针对所述一个或多个索引变量的一个或多个动作选择输出来选择要由所述代理在所述时间步骤处执行的动作包括使用汤普森采样技术来选择要由所述代理在所述时间步骤处执行的动作。

5.根据权利要求1-3中任一项所述的方法，其中，使用针对所述一个或多个索引变量的一个或多个动作选择输出来选择要由所述代理在所述时间步骤处执行的动作包括使用信息引导采样(IDS)技术来选择要由所述代理在所述时间步骤处执行的动作。

6.根据权利要求1-5中任一项所述的方法，其中，所述可能索引变量的连续空间上的概率分布包括连续概率分布。

7.根据权利要求6所述的方法，其中，所述可能索引变量的空间包括n维欧几里得空间，并且所述可能索引变量的空间上的概率分布是单位正态分布。

8.根据权利要求6所述的方法，其中，所述可能索引变量的空间包括超球面，并且所述可能索引变量的空间上的概率分布是均匀分布。

9.根据权利要求1-8中任一项所述的方法，其中，所述超模型包括线性模型。

10.根据权利要求9所述的方法，其中，使用所述超模型处理所述索引变量以生成指定所述环境模型的多个参数值的输出包括：

计算(i)由所述超模型的参数指定的矩阵与(ii)所述索引变量之间的乘积；以及

计算(i)所述乘积的结果与(ii)由所述超模型的参数指定的偏差向量的和。

11.根据权利要求1-8中任一项所述的方法，其中，所述超模型包括神经网络模型，并且其中，对于所述神经网络模型的一层或多层，计算所述层的输出包括将非线性激活函数应用于所述层的中间输出。

12.根据权利要求1-11中任一项所述的方法，其中，所述环境模型包括线性模型。

13.根据权利要求1-11中任一项所述的方法，其中，所述环境模型包括神经网络模型。

14.根据权利要求1-13中任一项所述的方法，其中，所述环境模型包括先验环境模型和差分环境模型。

15.根据权利要求1-14中任一项所述的方法，还包括训练所述多个超模型参数以优化目标函数，其中，所述目标函数根据由超模型输出指定的多个环境模型参数的值来测量使用所述环境模型生成的动作选择输出的准确度。