[发明专利]学习多个随机变量之间的随机推断模型的方法和装置

说明书

一种用于操作神经网络的系统和方法。在一些实施例中，神经网络包括变分自编码器，并且训练神经网络包括用第一随机变量的多个样本以及第二随机变量的多个样本来训练变分自编码器，第一随机变量的多个样本和第二随机变量的多个样本不成对，训练神经网络包括基于第一损失函数来更新神经网络中的权重，第一损失函数基于与以下之间的一致性的偏差的度量：从第一随机变量到第二随机变量的条件生成路径，以及从第二随机变量到第一随机变量的条件生成路径。

相关申请的交叉引用

本申请要求于2020年4月10日提交的标题为“METHOD AND APPARATUS FORLEARNING STOCHASTIC INFERENCE MODELS BETWEEN MULTIPLE RANDOM VARIABLES WITHUNPAIRED DATA”的美国临时申请No.63/008294的优先权和利益，其全部内容通过引用并入本文。

技术领域

根据本公开的实施例的一个或多个方面涉及机器学习，并且更具体地涉及多个随机变量之间的随机推断模型。

背景技术

在各种应用中，机器学习系统执行条件生成或联合生成可能是有利的。可以使用成对的数据来训练用于执行这些任务的机器学习模型。然而，在一些应用中，成对的数据不容易获得，并且生成成本可能很高。

因此，需要一种用于学习具有不成对数据的多个随机变量之间的随机推断模型的改进的系统和方法。

发明内容

根据本发明的实施例，提供一种用于操作神经网络的方法，该方法包括：训练神经网络，其中：神经网络包括变分自编码器，包括：编码器网络，被配置为：接收第一随机变量的样本，并产生第一潜变量和第二潜变量中的每一个的均值和方差，或者接收第二随机变量的样本，并产生第二潜变量和第三潜变量中的每一个的均值和方差；以及解码器网络，被配置为：接收第一潜变量的样本和第二潜变量的样本，并生成第一随机变量的生成样本，或者接收第二潜变量的样本和第三潜变量的样本，并生成第二随机变量的生成样本，训练神经网络包括用以下来训练变分自编码器：第一随机变量的多个样本；以及第二随机变量的多个样本，第一随机变量的多个样本和第二随机变量的多个样本不成对，训练神经网络包括基于第一损失函数来更新神经网络中的权重，第一损失函数基于与以下之间的一致性的偏差的度量：从第一随机变量到第二随机变量的条件生成路径，以及从第二随机变量到第一随机变量的条件生成路径。

在一些实施例中，第一损失函数包括：第一项，表示第一随机变量的重建损失；第二项，表示与第二潜变量的一致性的偏差；第三项，表示与第一潜变量的一致性的偏差；以及第四项，表示与第三潜变量的一致性的偏差。

在一些实施例中，该方法还包括由变分自编码器执行条件生成，执行条件生成包括：由编码器网络接收第一随机变量的样本；产生第一潜变量和第二潜变量中的每一个的均值和方差；由解码器网络接收以下中的每一个的样本：具有第一潜变量的产生均值和产生方差的分布，具有第二潜变量的产生均值和产生方差的分布，以及具有第三潜变量的先验分布的均值和方差的分布；以及由解码器网络生成第二随机变量的生成样本。

在一些实施例中，该方法还包括由变分自编码器执行联合生成，执行联合生成包括：由解码器网络接收以下中的每一个的样本：第一潜变量，第二潜变量，以及第三潜变量；以及由解码器网络生成：基于第一潜变量和第二潜变量的第一随机变量的生成样本，基于第二潜变量和第三潜变量的第二随机变量的生成样本。

在一些实施例中，神经网络还包括判别神经网络，并且训练神经网络还包括基于第二损失函数来更新判别神经网络中的权重，该第二损失函数包括f-散度。

在一些实施例中，训练包括基于第一损失函数来更新神经网络中的权重，第一损失函数包括：第一项，表示第一随机变量的重建损失；第二项，表示与第二潜变量的一致性的偏差；第三项，表示与第一潜变量的一致性的偏差；以及第四项，表示与第三潜变量的一致性的偏差。