[发明专利]时间差分模型的无监督学习技术

权利要求书

1.一种进行无监督机器学习的计算机系统，所述计算机系统包括：

一个或多个处理器；以及

一个或多个非瞬态计算机可读介质，其储存指令，当由所述一个或多个处理器执行所述指令时，使得所述计算机系统：

将与第一时间相关联的第一状态表示和与第二时间相关联的第二状态表示输入到时间差分模型中，所述第二时间与所述第一时间不同；

产生时间差分表示，所述时间差分表示对所述第一状态表示与所述第二状态表示之间的改变进行编码，其中由所述时间差分模型使用所述第一状态表示和所述第二状态表示产生所述时间差分表示；

接收所述时间差分表示作为所述时间差分模型的输出；

将所述时间差分表示和与所述第一时间相关联的所述第一状态表示输入到预测模型中；

产生所述第二状态表示的预测，其中由所述预测模型使用所述时间差分表示和与所述第一时间相关联的所述第一状态表示产生所述第二状态表示的预测；

接收所述第二状态表示的预测作为所述预测模型的输出；

确定损失值，所述损失值表示所述第二状态表示与所述第二状态表示的预测之间的差异；以及

至少部分地基于所述损失值来训练至少所述时间差分模型，

所述第一状态表示描述视频的第一帧，所述第一帧与所述第一时间相关联；并且

所述第二状态表示描述所述视频的第二帧，所述第二帧与所述第二时间相关联，所述第二时间与所述第一时间不同。

2.如权利要求1所述的计算机系统，其中所述时间差分模型和所述预测模型中的每一个包括深度神经网络。

3.如权利要求1所述的计算机系统，其中所述时间差分表示包括在所述时间差分模型的嵌入层处的时间差分嵌入输出。

4.如权利要求1所述的计算机系统，其中为了至少部分地基于所述损失值来训练至少所述时间差分模型，所述计算机系统通过所述预测模型然后通过所述时间差分模型反向传播所述损失值。

5.如权利要求1所述的计算机系统，其中：

所述第一状态表示包括通过将所述视频的第一帧输入到机器学习的图像分类神经网络中而获得的第一图像嵌入；并且

所述第二状态表示包括通过将所述视频的第二帧输入到所述机器学习的图像分类神经网络中而获得的第二图像嵌入。

6.如权利要求1所述的计算机系统，其中执行所述指令还使得所述计算机系统：

将至少所述时间差分表示输入到分类模型中；

接收由所述第一状态表示和所述第二状态表示描述的对象的分类作为所述分类模型的输出；

确定第二损失值，所述第二损失值表示所述分类与标记之间的第二差异，所述标记与由所述第一状态表示和所述第二状态表示描述的对象相关联；并且

至少部分地基于所述第二损失值来训练至少所述分类模型。

7.如权利要求6所述的计算机系统，其中执行所述指令还使得所述计算机系统至少部分地基于所述第二损失值来训练所述时间差分模型。

8.如权利要求6所述的计算机系统，其中执行所述指令还使得所述计算机系统将所述第一状态表示与所述时间差分表示一起输入到所述分类模型中。

9.如权利要求1所述的计算机系统，其中：

所述第一状态表示描述音频文件的第一部分，所述第一部分与所述第一时间相关联；并且

所述第二状态表示描述所述音频文件的第二部分，所述第二部分与所述第二时间相关联，所述第二时间与所述第一时间不同。

10.如权利要求1所述的计算机系统，其中：

所述第一状态表示描述传感器数据的集合的第一部分，所述第一部分与所述第一时间相关联；并且

所述第二状态表示描述所述传感器数据的集合的第二部分，所述第二部分与所述第二时间相关联，所述第二时间与所述第一时间不同。