[发明专利]因子图上的概率传播

说明书

提供了用于实现随机变量的概率分布在因子图上的传播的方法和装置。这种方法包括提供尖峰神经网络，该尖峰神经网络具有与因子节点互连的变量节点，与因子图对应。每个节点包括被配置成实现该节点的计算功能的一组神经元。该方法还包括：针对一组随机变量中的每一个生成至少一个尖峰信号，其中该变量的可能值的概率经由尖峰信号中出现尖峰而被编码；以及在相应的变量节点处将该组随机变量的尖峰信号作为输入提供给神经网络。概率分布是经由在通过神经网络传播的信号中出现尖峰来传播的。

背景技术

本发明一般涉及因子图上的概率传播。特别地，提供了用于实现随机变量的概率分布在因子图上的传播的方法、以及用于执行这样的方法的装置和计算机程序产品。

在因子图上传播随机变量的概率分布是在科学和技术中的许多应用中使用的概率计算技术。例如，该技术可用于在诸如以下的应用中的统计推断：数据传输中的纠错码的解码、数据集分析以从例如来自因特网的大量数据中得出深入了解、以及开发用于患者中涉及遗传因素的竞争性疗法的最佳组合的个性化健康护理计划。该技术被应用于一组随机变量的概率分布，该组随机变量的值代表根据所讨论的特定应用的物理过程或其它基本上随机的现象的可能结果。这些概率分布在因子图的边上传播，所述因子图具有经由与多个因子节点的边相互连接的多个变量节点。该因子图的结构以及与该图的节点相关联的特定计算功能由底层的应用确定。下面参考附图中的图1和图2简要地解释概率传播过程。

图1示出了因子图的简单示例。该因子图具有与一组变量s、u、v、w、x、y和z相对应的变量节点、以及与描述因子分解的函数f_A、f_B、f_C、f_D和f_E相对应的因子节点：

P(s,u,v,w,x,y,z)＝f_A(s,u,v)f_B(v,w)f_C(u,x)f_D(u,y)f_E(y,z)

根据变量出现于其中的因子，图中的边将变量节点连接到因子节点。假设期望计算：

其中P(s|z＝z′)表示在变量z的观测值是z’的情况下变量s的概率分布。可以使用两种方法。直接计算可以通过对n_un_vn_wn_xn_y项求和来执行(其中n_p表示变量p的可能值的数目)：

或者，各个求和可以分布在因子分解的乘积上(n_un_v+n_w+n_x+n_y项上的和)：

概率传播过程通过将因子图的边视为消息传递通道来执行上述第二类型的计算。在节点处计算表示概率分布的消息，并将其沿着边传递到所连接的节点。通常，图的取向和传播消息的方式取决于要执行的特定计算，消息是响应于观测而创建的。可以通过选择一个或多个节点作为根来对该图进行定向，并且将仅连接到一个其他节点的每个非根节点指定为叶子。在第一步骤中，消息可以从叶子逐级向前传递到根，然后在第二步骤中，从根逐级向后传递到叶子。在前向和后向传递的每一个期间，传递两种类型的向量消息：由局部边际的乘积组成的变量到函数消息；以及由附近变量上的分布的和组成的函数到变量消息。在图2所示的因子图的部分中的变量节点x和函数节点f_A处对这两种类型的消息的计算如下。从x到f_A的变量到函数消息由下式给出：

μ_x→A(x)＝μ_B→x(x)μ_C→x(x)

并且从f_A到x的函数到变量消息由下式给出：