[发明专利]一种概率图模型的近似推理算法

说明书

技术领域

本发明涉及近似推理算法技术领域，具体为一种概率图模型的近似推理算法。

背景技术

概率图模型利用图论的表示方法来描述联合概率分布，是对不确定性问题进行建模的有效工具。概率图模型用节点表示变量，节点之间的边表示局部变量间的概率依赖关系。在概率图模型的表示框架下，联合概率分布表示为定义在局部变量的势函数的连乘积，该表示框架不仅避免了对复杂系统的联合概率分布直接进行建模，而且易于在图模型建模中引入先验知识。概率图模型主要包括马尔可夫随机场(Markov Random Field,MRF)、贝叶斯网络(Bayesion Network,BN)、因子图(Factor Graph,FG)等。概率图模型推理涉及到图模型的所有变量，而变量之间的耦合依赖关系是导致推理算法复杂度高的主要原因。在一般的概率图模型中，由于精确推理是NP难问题，目前的研究聚焦在近似推理算法。概率图模型被广泛应用于诸多领域，如自然语言处理、计算机视觉、计算神经学等。

马尔可夫随机场的最大后验概率推理是一个整数规划问题，因此难以直接求解该优化问题。一种常见的求解思路是，将该问题等价转化为定义在约束域为边缘凸多胞形(marginal polytope)的线性规划问题。由于精确描述边缘凸多胞形需要的约束数量过于庞大，研究人员将该约束域松弛为局部一致性凸多胞形(local consistency polytope)，该约束域包含有边和节点边缘概率的一致性约束。定义在局部一致性凸多胞形上的线性松弛问题，被称为成对线性规划松弛(pairwise linear programming relaxation)。松弛后的线性规划问题可以用优化领域的一些标准优化方法来求解。松弛后的线性规划问题可以用优化领域的一些标准优化方法来求解。然而，当图模型的规模很大时，Yanover等人指出用标准的优化方法没有充分利用图模型的结构特点，求解速度慢。因此，可以引入对偶分解法来求解线性规划问题。对偶分解的思路是将原问题分解为若干易于求解的子问题，通过组合子问题的解来近似得到原问题的解。一种常见的子问题是树状子图，不同的树状子图分解方式对应不同的近似推理算法，如树重置权重消息传递(tree-reweighted message passing,TRW)，最大-和扩散(max-sum diffusion，MSD)，最大乘线性规划(max product linear programming，MPLP)。树状子图的分解方式对应于求解成对线性规划松弛，而成对线性规划松弛是对原问题的一个近似，所以这些算法无法保证推理结果的准确性。

为了提高近似推理算法的准确度，可以在原优化问题的约束域引入高阶约束。Sontag和Jaakkola提出了一个约束分离算法，该算法在每次迭代过程中选择一个违反约束最大的k-叉环不等式约束，并将该不等式约束加到局部一致性凸多胞形中，从而使得约束域逐步逼近边缘凸多胞形。每增加一个约束，该算法利用标准优化方法进行求解。由于该算法直接求解原问题，而没有利用图模型的结构特点，因此算法复杂度高。除了在原优化问题的约束域引入高阶约束之外，另一个提高近似推理算法准确度的方法是在对偶问题中引入比树状子图更加复杂的子图。针对二值马尔可夫随机场，Batra等人提出了一个更加准确的近似推理算法，该算法将MRF分解为一组覆盖原图节点和边的外平面子图，每个外平面子图利用最大权重完美匹配(maximum weight perfect matchings)来求解。最大权重完美匹配算法能快速准确地求解二值外平面子图的推理问题。但是，Batra等人提出的上述算法依然存在的问题是：算法没有对外平面子图对应原问题的约束进行分析，从而无法确定基于外平面子图分解方式的准确度下界。针对一般的多值MRF，Yarkony等人提出一个新的推理算法，该算法将一个MRF分解为一个“覆盖树”，然后逐步增加可以用最大权重完美匹配算法求解的二值平面子图(binary planar subproblems，BPSP)。由于二值平面子图的数量庞大，而且不同的BPSP分解对应的算法收敛速度差异很大，因此BPSP的选择是一个重要的问题。为了解决BPSP的选择问题，首先要确定BPSP和原问题约束域之间的关系。然而，Yarkony等人的文章并没有研究BPSP和原问题约束域之间的关系。

发明内容

为实现上述目的，本发明提供如下技术方案：一种概率图模型的近似推理算法，首先利用分离算法选择有效的k-叉环不等式约束；然后将这些k-叉环不等式约束对应的环组合到一个平面子图上，并逐次添加到对偶子问题中；最后通过优化对偶问题来求解原推理问题；