[发明专利]基于频繁项挖掘的贝叶斯网络结构优化方法和装置

说明书

本申请涉及一种基于频繁项挖掘的贝叶斯网络结构优化方法。所述方法包括：获取数据集；根据反映随机变量之间关联度的关联规则，构建关联规则集；从数据集提取频繁项集后对预先设置的贝叶斯网络进行学习，得到最大频繁项集对应的最大贝叶斯网络结构集；根据关联规则集和最大贝叶斯网络结构集，从数据集中提取白名单和黑名单后构建罚项；根据罚项和BDeu评分函数，得到融合先验的评分函数，然后进行爬山搜索算法进行循环搜索，得到最优贝叶斯网络结构。采用本方法能够明显提升贝叶斯网络结构学习的效率和准确率。

技术领域

本申请涉及数据处理领域，特别是涉及一种基于频繁项挖掘的贝叶斯网络结构优化方法和装置。

背景技术

随着机器学习领域技术的发展，出现了贝叶斯网络，贝叶斯网络是一种通用的概率图模型，它可以表示随机变量之间的相关性，是随机变量联合概率分布的一种图形化表示，因此具有很强的可解释性，贝叶斯网络由于能够表示不确定知识并进行推理计算表达，在机器学习领域有着广泛的应用，是领域研究的热点之一。

然而在真实机器学习问题中，由于实际样本数据存在噪音和大小限制以及网络空间搜索的复杂性，学习贝叶斯网络的结构是一个NP难(Non-deterministic Polynomialhard,NP-hard)问题。因此，如何减小贝叶斯网络结构学习的误差成为了贝叶斯网络学习的研究难点之一。经典的贝叶斯网络学习研究侧重于评分函数的设计和搜索方法的优化，通过对可能的网络结构和节点参数形式进行描述，提高学习算法的智能水平和问题求解能力，在单一的问题领域已经达到了一定的学习极限。这些研究偏重于模型对训练数据的可解释性，学习精度主要由训练数据的质量决定，在数据有限或问题复杂的情况下，往往会出现过拟合的情况，难以在实际中应用。

发明内容

基于此，有必要针对上述技术问题，提供一种能够明显提升贝叶斯网络结构学习的效率和准确率的基于频繁项挖掘的贝叶斯网络结构优化方法和装置。

一种基于频繁项挖掘的贝叶斯网络结构优化方法，其特征在于，方法包括：

获取数据集；数据集中包括随机变量和随机变量对应的样本数据；

根据反映随机变量之间关联度的关联规则，构建关联规则集；

从数据集提取频繁项集，根据频繁项集对预先设置的贝叶斯网络进行学习，得到贝叶斯网络结构集，根据贝叶斯网络结构集，得到最大频繁项集对应的最大贝叶斯网络结构集；

根据关联规则集和最大贝叶斯网络结构集，从数据集中提取白名单和黑名单；

根据白名单和黑名单中的样本数据，构建罚项；

根据罚项和BDeu评分函数，得到融合先验的评分函数；

根据融合先验的评分函数以及爬山搜索算法进行循环搜索，得到最优贝叶斯网络结构。

在其中一个实施例中，根据反映随机变量之间重要性的支持度规则，以及根据反映随机变量之间可信程度的置信度规则，得到关联规则集。

在其中一个实施例中，获取支持度阈值和置信度阈值，当根据支持度规则计算随机变量之间的支持度大于或等于支持度阈值，并且根据置信度规则计算随机变量之间的置信度大于或等于置信度阈值时，将两个随机变量对应的节点对加入关联规则集。

在其中一个实施例中，根据贝叶斯网络结构集，得到最大频繁项集对应的最大贝叶斯网络结构集：

其中，BN_{max_f}表示最大贝叶斯网络结构集，表示第i个频繁项集freq_item_i对应的贝叶斯网络结构集，表示所有贝叶斯网络结构集的并集。

在其中一个实施例中，当数据集中的随机变量对属于关联规则集，并且随机变量对属于最大贝叶斯网络结构集，则将随机变量对加入白名单；