[发明专利]一种基于张量分解的缺失关联规则挖掘方法

说明书

技术领域

本发明涉及云计算领域，尤其涉及一种基于张量分解的缺失关联规则挖掘方法。

背景技术

如今，越来越多的应用程序面临着处理来自多个分布式数据源的潜在大数据的问题。在大型计算机或传感器网络中，每个组件都拥有一些有关系统全局状态的数据，大部分系统功能依赖建模系统的全局状态，而系统的全局状态不断变化，必须保持模型最新并搜索完整信息。计算全局数据挖掘模型时，往往需要较高的计算成本。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于张量分解的缺失关联规则挖掘方法，本方法通过在云的每个节点上局部发现关联规则、并对局部结果进行全局相关，从而发现缺失关联规则；本方法能够更好地处理云计算环境中的海量数据，具有优越性。

本发明是通过以下技术方案达到上述目的：一种基于张量分解的缺失关联规则挖掘方法，包括如下步骤：

(1)每个节点对自身所带的局部数据进行局部相关，在每个节点上运用先验算法发现局部关联规则，得到节点的局部置信度；

(2)利用节点网络、每个节点的局部关联规则及权重矩阵建立基于张量的全局相关模型；

(3)通过CP分解方法分解全局相关模型中的张量置信度，并使用共轭梯度算法计算得到近似张量置信度；

(4)当存在缺失数据的情况下，利用分布式算法结合局部置信度与近似张量置信度得到接近缺失值的置信度张量，发现缺失关联规则。

作为优选，所述步骤(1)发现局部关联规则步骤如下：

(a)使用Apriori算法提取频繁项集I₁；…；I_m；

(b)若Y＝I_k-X且conf(X→Y)≥minconf，minconf为预先设定的，则从频繁项集I_k产生关联规则X→Y。

作为优选，所述的基于张量的全局相关模型由置信度张量表示，通过uplet(R，G，w)定义置信度张量S；

其中，R表示节点网络；G表示节点中频繁项集的集合；S表示空间R^N×N×R上的张量，在[0，1]取值；W表示权重矩阵。

作为优选，所述权重矩阵W的定义如下：

设fiberH_ij为所有节点中项集i，j之间关联规则有关的所有置信度，则w_ij表示权重矩阵，定义为

作为优选，所述步骤(3)的CP分解方法将张量置信度x分解为向量或矩阵，如下所示：

x≈Σk=1Kxk(1)⊗...⊗xk(N),x=[[A,B,C]].]]>

作为优选，所述步骤(3)近似张量置信度使用迭代算法最小化L(x)计算，公式如下，此过程利用共轭梯度算法完成：