[发明专利]学习多个随机变量之间的随机推断模型的方法和装置

权利要求书

1.一种用于操作神经网络的方法，所述方法包括：

训练所述神经网络，

其中：

所述神经网络包括变分自编码器，包括：

编码器网络，被配置为：

接收第一随机变量的样本，并产生第一潜变量和第二潜变量中的每一个的均值和方差，或者

接收第二随机变量的样本，并产生所述第二潜变量和第三潜变量中的每一个的均值和方差；以及

解码器网络，被配置为：

接收所述第一潜变量的样本和所述第二潜变量的样本，并生成所述第一随机变量的生成样本，或者

接收所述第二潜变量的样本和所述第三潜变量的样本，并生成所述第二随机变量的生成样本，

训练所述神经网络包括用以下来训练所述变分自编码器：

所述第一随机变量的多个样本；以及

所述第二随机变量的多个样本，

所述第一随机变量的多个样本和所述第二随机变量的多个样本不成对，训练所述神经网络包括基于第一损失函数来更新所述神经网络中的权重，所述第一损失函数基于与以下之间的一致性的偏差的度量：

从所述第一随机变量到所述第二随机变量的条件生成路径，以及

从所述第二随机变量到所述第一随机变量的条件生成路径。

2.根据权利要求1所述的方法，其中，所述第一损失函数包括：

第一项，表示所述第一随机变量的重建损失；

第二项，表示与所述第二潜变量的一致性的偏差；

第三项，表示与所述第一潜变量的一致性的偏差；以及

第四项，表示与所述第三潜变量的一致性的偏差。

3.根据权利要求1所述的方法，还包括由所述变分自编码器执行条件生成，所述执行条件生成包括：

由所述编码器网络接收所述第一随机变量的样本；

产生所述第一潜变量和所述第二潜变量中的每一个的均值和方差；

由所述解码器网络接收以下中的每一个的样本：

具有所述第一潜变量的产生均值和产生方差的分布，

具有所述第二潜变量的产生均值和产生方差的分布，以及

具有所述第三潜变量的先验分布的均值和方差的分布；以及

由所述解码器网络生成所述第二随机变量的生成样本。

4.根据权利要求1所述的方法，还包括由所述变分自编码器执行联合生成，所述执行联合生成包括：

由所述解码器网络接收以下中的每一个的样本：

所述第一潜变量，

所述第二潜变量，以及

所述第三潜变量；以及

由所述解码器网络生成：

基于所述第一潜变量和所述第二潜变量的所述第一随机变量的生成样本，

基于所述第二潜变量和所述第三潜变量的所述第二随机变量的生成样本。

5.根据权利要求1所述的方法，其中，所述神经网络还包括判别神经网络，并且训练所述神经网络还包括基于第二损失函数来更新所述判别神经网络中的权重，所述第二损失函数包括f-散度。

6.根据权利要求5所述的方法，其中，所述训练包括基于第一损失函数来更新所述神经网络中的权重，所述第一损失函数包括：

第一项，表示所述第一随机变量的重建损失；

第二项，表示与所述第二潜变量的一致性的偏差；

第三项，表示与所述第一潜变量的一致性的偏差；以及

第四项，表示与所述第三潜变量的一致性的偏差。

7.根据权利要求6所述的方法，其中，所述第一损失函数还包括基于所述判别神经网络的第五项。