[发明专利]用于稀疏二进制序列的高效时间存储器

权利要求书

1.一种用于使用有限的存储器资源来训练机器可学习模型的计算机实现的方法（200），包括：

- 访问（210）用于机器可学习模型的训练数据，其中训练数据包括输入数据实例的时间序列；

- 在一系列训练步骤（）中针对相应的输入数据实例训练（220）机器可学习模型，其中，在相应的训练步骤中，机器可学习模型假设内部状态，所述内部状态由表示内部状态的相应元素的二进制值（）集合组成或可表示为所述二进制值（）集合，其中内部状态取决于机器可学习模型的一个或多个先前内部状态，

所述方法进一步包括：

- 提供（230）状态存储器（BLM），针对内部状态的每个元素，所述状态存储器（BLM）包括值（），所述值（）指示保持或转变到特定二进制状态值的元素的最近出现，其中最近出现被表述为相对于当前训练步骤的多个训练步骤；

以及在训练期间，在当前训练步骤中：

- 从状态存储器提取（240）供在确定机器可学习模型的当前内部状态中使用的先前内部状态信息；和

- 在确定机器可学习模型的当前内部状态之后，通过针对内部状态的每个元素更新状态存储器的对应值，来利用当前内部状态更新（250）状态存储器。

2.根据权利要求1所述的计算机实现的方法（200），其中所述值在状态存储器中利用数字大小（b）来用数字表示，所述数字大小（b）确定针对最近出现的时间窗口（）。

3.根据权利要求2所述的计算机实现的方法（200），其中，如果在更新期间针对元素的最近出现超过时间窗口，则将最近出现设置为时间窗口的最远端。

4.根据权利要求2或3所述的计算机实现的方法（200），进一步包括在机器可学习模型的训练期间，基于从训练数据导出的统计信息来选择数字大小（b），所述统计信息指示保持或转变到特定二进制状态值的出现的时间分布。

5.根据权利要求4所述的计算机实现的方法（200），其中，数字大小（b）通过机器可学习模型的可训练参数来选择。

6.根据权利要求1至5中任一项所述的计算机实现的方法（200），其中从状态存储器提取（240）先前内部状态信息包括从状态存储器中表示相应最近出现的值中重构机器可学习模型的一个或多个先前内部状态。

7.根据权利要求1至6中任一项所述的计算机实现的方法（200），其中从状态存储器提取（240）先前内部状态信息包括将时间注意模型（）应用于状态存储器中的值，所述状态存储器为机器可学习模型生成一个或多个内部状态，其中所述一个或多个生成的内部状态表示根据时间注意模型被选择为相关的先前内部状态信息。

8.根据权利要求7所述的计算机实现的方法（200），其中时间注意模型是参数化的注意模型，其中参数化的注意模型的参数（A）由以下组中的至少一个提供：

- 机器可学习模型的可训练参数集合，

- 可训练参数集合，其与机器可学习模型分离，并且针对训练数据与机器可学习模型联合训练；和

- 预定值集合。

9.根据权利要求7或8所述的计算机实现的方法（200），其中将时间注意模型应用于状态存储器中的值包括例如相对于所述值的全部或子集的均值或最大值来标准化所述值，以便提供最近出现的时间标准化。

10.根据权利要求1至9中任一项所述的计算机实现的方法（200），其中，针对内部状态的每个元素，状态存储器包括另外的值，其中，在训练期间更新状态存储器，使得：

- 所述值指示元素转变到第一个二进制状态值（“0”）的最近出现，并且

- 所述另外的值指示元素转变到不同于第一个二进制状态值的第二个二进制状态值（“1”）的最近出现。