[发明专利]用于对概率分布进行建模的系统和方法

说明书

描述了用于对复杂概率分布进行建模的系统和方法。一个实施例包括一种用于训练受限波尔兹曼机器(RBM)的方法，其中所述方法包括从第一组可见值生成RBM的隐藏层中的一组隐藏值以及基于生成的所述一组隐藏值来生成所述RBM的可见层中的第二组可见值。所述方法包括基于所述第一组可见值和生成的所述一组可见值来计算一组似然梯度，基于所述一组隐藏值和所述一组可见值中的至少一个使用对抗模型来计算一组对抗梯度，基于所述一组似然梯度和所述一组对抗梯度来计算一组复合梯度，以及基于所述一组复合梯度来更新所述RBM。

相关申请的交叉引用

本申请要求2018年1月17日提交的、标题为“Systems and Methods for ModelingProbability Distributions”的美国临时专利申请No.62/618,440和2019年1月15日提交的、标题为“Simulating Biological and Health Systems with Restricted BoltzmannMachines”的美国临时专利申请No.62/792,648的权益和优先权。美国临时专利申请序列No.62/618,440和No.62/792,648的公开内容通过引用整体并入本文。

技术领域

本发明总体上涉及对概率分布进行建模，并且更具体地涉及训练和实现波尔兹曼(Boltzmann)机器以对复杂概率分布准确地进行建模。

背景技术

在充满不确定性的世界中，难以基于多样化和异构的多组数据对跨多个维度的概率分布恰当地进行建模。例如，在健康行业中，个体健康结果永远是不确定的。一名具有疾病的患者的状况可能迅速恶化，而另一名患者很快康复。个体健康结果的内在随机性意味着健康信息学必须以预测健康风险而不是确定性的结果为目标。量化和预测健康风险的能力对依赖于群体的健康的商业模型具有重要含义。

发明内容

示出了根据本发明的实施例的用于对复杂概率分布进行建模的系统和方法。一个实施例包括一种用于训练受限波尔兹曼机器(RBM)的方法，其中所述方法包括从第一组可见值生成RBM的隐藏层中的一组隐藏值，以及基于生成的所述一组隐藏值来生成所述RBM的可见层中的第二组可见值。所述方法还包括基于所述第一组可见值和生成的所述一组可见值中的至少一个来计算一组似然梯度，基于所述一组隐藏值和所述一组可见值中的至少一个使用对抗模型来计算一组对抗梯度，以及基于所述一组似然梯度和所述一组对抗梯度来计算一组复合梯度。所述方法包括基于所述一组复合梯度来更新所述RBM。

在另一个实施例中，所述RBM的可见层包括由用于不同数据类型的多个子层组成的合成层。

在又一个实施例中，所述多个子层包括伯努利(Bernoulli)层、伊辛(Ising)层、独热(one-hot)层、冯·米塞斯-费舍尔(von Mises-Fisher)层、高斯层、ReLU层、修剪的ReLU层、学生-t层、序数层、指数层、以及合成层中的至少一个。

在又一个实施例中，所述RBM是深度波尔兹曼机器(DBM)，其中所述隐藏层是多个隐藏层中的一个。

在又一个实施例中，所述RBM是第一RBM，并且所述隐藏层是多个隐藏层中的第一隐藏层。所述方法还包括对来自所述第一RBM的隐藏层进行采样，将来自所述第一RBM的可见层和隐藏层堆叠到向量中，训练第二RBM，以及通过将权重从所述第一RBM和第二RBM复制到DBM来生成所述DBM。所述向量是所述第二RBM的可见层。

在又一个实施例中，所述方法还包括以下步骤：接收对于患者的表型(phenotype)向量，使用所述RBM生成疾病的时间进展，以及基于生成的时间进展来治疗患者。

在另一个附加实施例中，所述可见层和隐藏层是针对第一时间实例的，其中所述隐藏层还连接到第二隐藏层，所述第二隐藏层并入了来自不同的第二时间实例的数据。