[发明专利]对深度学习网络的注意力的持续控制

权利要求书

1.一种用于通过实现对深度学习网络的注意力的持续控制来降低与由计算机系统所执行的机器学习任务相关联的计算成本的计算机实现的方法，包括：

由可操作地耦接到存储器设备的至少一个处理器初始化控制-值函数、观察-值函数和与当前情节相关联的状态序列；

如果所述当前情节中的当前周期是奇数，则：

由所述至少一个处理器仅选择观察动作；

由所述至少一个处理器执行所述观察动作，以观察部分图像；以及

由所述至少一个处理器基于所述部分图像和所述控制-值函数来更新所述观察-值函数；以及

如果所述当前周期是偶数，则：

由所述至少一个处理器仅选择控制动作；

由所述至少一个处理器执行所述控制动作，以获得与所述控制动作对应的回报；以及

由所述至少一个处理器基于所述回报和所述观察-值函数来更新所述控制-值函数。

2.根据权利要求1所述的方法，其中，初始化所述控制-值函数和所述观察-值函数包括：用随机权重初始化所述控制-值函数和所述观察-值函数。

3.根据权利要求1所述的方法，其中，选择所述观察动作包括：将所述观察动作选择为随机观察动作或与所述观察-值函数的最大值对应的观察动作。

4.根据权利要求1所述的方法，其中，选择所述控制动作包括：将所述控制动作选择为随机控制动作或与所述控制-值函数的最大值对应的控制动作。

5.根据权利要求1所述的方法，进一步包括：预处理所述状态序列以创建用于选择所述观察动作或选择所述控制动作的特征向量。

6.根据权利要求1所述的方法，其中，更新所述观察-值函数进一步包括：

基于所述状态序列、所述观察动作和所述部分图像，设置与下一个周期对应的下一个状态序列；

预处理所述下一个状态序列以创建下一个特征向量；以及

在观察存储器中存储所述状态序列和所述下一个状态序列之间的过渡。

7.根据权利要求6所述的方法，其中，更新所述观察-值函数进一步包括：

从所述观察存储器采样一批过渡；

基于所述一批过渡和所述控制-值函数，设置累积回报；以及

针对所述一批过渡的每个观察动作，基于所述累积回报和所述观察-值函数的值来执行优化步骤。

8.根据权利要求1所述的方法，其中，更新所述控制-值函数进一步包括：

基于所述状态序列和所述控制动作，设置与下一个周期对应的下一个状态序列；

预处理所述下一个状态序列以创建下一个特征向量；以及

在控制存储器中存储所述状态序列和所述下一个状态序列之间的过渡。

9.根据权利要求8所述的方法，其中，更新所述控制-值函数进一步包括：

从所述控制存储器采样一批过渡；

基于所述一批过渡和所述观察-值函数，设置累积回报；以及

针对所述一批过渡的每个控制动作，基于所述累积回报和所述控制-值函数的值来执行优化步骤。

10.一种用于通过实现对深度学习网络的注意力的持续控制来降低与由计算机系统执行的机器学习任务相关联的计算成本的系统，包括：

存储器设备，其用于存储程序代码；以及

至少一个处理器，其可操作地耦接到所述存储器设备，并被配置为执行存储在所述存储器设备上的程序代码，以执行根据权利要求1-9中任一项所述的方法。

11.一种计算机可读存储介质，具有体现在其中的程序指令，所述程序指令可由计算机执行以使所述计算机执行根据权利要求1-9中任一项所述的方法。

12.一种用于通过实现对深度学习网络的注意力的持续控制来降低与由计算机系统执行的机器学习任务相关联的计算成本的系统，所述系统包括分别用于执行根据权利要求1-9中任一项所述的方法的步骤的模块。