[发明专利]时间差分模型的无监督学习技术

摘要

各种示例性实现方式涉及时间差分模型的无监督训练。可以训练时间差分模型以接收至少第一状态表示和第二状态表示，其分别描述对象在两个不同时间的状态，并且作为响应，输出编码对象在两个不同时间之间的改变的时间差分表示。为了训练模型，时间差分模型可以与预测模型组合，该预测模型在给定时间差分表示和第一状态表示的情况下寻求预测或者重建第二状态表示。可以在损失值上训练时间差分模型，该损失值表示第二状态表示与第二状态表示的预测之间的差异。以这种方式，未标记的数据可以用于训练时间差分模型，以提供时间差分表示。本公开还提供了一旦训练后的这种时间差分模型的示例性用途。

主权项

1.一种进行无监督机器学习的计算机系统，所述计算机系统包括：一个或多个处理器；以及一个或多个非瞬态计算机可读介质，其储存指令，当由所述一个或多个处理器执行所述指令时，使得所述计算机系统：将与第一时间相关联的第一状态表示和与第二时间相关联的第二状态表示输入到时间差分模型中，所述第二时间与所述第一时间不同；接收时间差分表示作为所述时间差分模型的输出，所述时间差分表示对所述第一状态表示与所述第二状态表示之间的改变进行编码；将所述时间差分表示和与所述第一时间相关联的所述第一状态表示输入到预测模型中；接收所述第二状态表示的预测作为所述预测模型的输出；确定损失值，所述损失值表示所述第二状态表示与所述第二状态表示的预测之间的差异；以及至少部分地基于所述损失值来训练至少所述时间差分模型。