[发明专利]一种自适应的分布式流数据关联规则挖掘方法

权利要求书

1.一种自适应的分布式流数据关联规则挖掘方法，其特征在于，包括以下步骤：

步骤1：初始化系统参数：

对关联规则挖掘处理过程中的各项参数进行预设，包括关联规则挖掘的最小支持度、最小置信度、数据挖掘最小覆盖率和最小误差；

令关联规则挖掘的最小置信度为θ(θ∈(0,1])，滑动窗口大小N，针对流式数据中的任一transaction P，若满足：

freq(P,N)≥θ×N (1)

则为最后挖掘所得结果；

设置最大置信度误差ε,ε∈(0,θ)，若当前transaction P满足：

freq(P,N)ε×θ×N (2)

则将其丢弃；

步骤2：对流式数据进行归一化处理：

将数据流中当前transaction中的数据项进行标量化，生成数据项与标量的映射；

步骤3：使用关联规则挖掘算法，对当前时间窗口内的流式数据进行处理，得到当前计算节点在一个时间段内的滑动窗口内的数据的关联规则；

步骤4：合并分布式计算结果，并对计算结果进行评价：

将分布式计算集群各计算节点关联规则挖掘的结果进行合并处理，得到当前时间段内关联规则挖掘的结果，评价数据处理的指标包括频繁项集挖掘的覆盖率：

Coverage＝σ(stream)/σ(static) (4)

其中，σ(static)表示在静态数据集下关联规则挖掘的频繁项集数量，σ(stream)表示流式数据处理得到的频繁项集数量；

召回率表示挖掘出的频繁项集数目与处理过的数据总数的比值：

Recall＝σ(stream)/σ(N) (5)

其中，σ(N)表示处理过的数据总数；

步骤5：深度强化学习，自动调整参数，并将调整后的系统参数应用于系统下一个时间段的滑动窗口的数据处理；

关联规则挖掘得到的结果评价函数为f，而f_t表示在时间段t得到的处理结果评价函数的累积奖赏和，设r_t为神经网络观测系统执行动作a_t-1后得到的奖励/惩罚，则：

f_t‘＝∑γ^t′-t·r′_t (6)

其中，γ为折扣因子，γ∈(0,1)，t′表示流数据关联规则挖掘的下一时间段，f_t‘表示下一时间段的评价函数累积奖赏和，r′_t表示数据处理下一阶段的奖励/惩罚；

在经过t′-t时间段的学习之后，对于数据变化比较平滑的数据集，使公式(2)中的ε和θ收敛于特定值，即，在此之后的数据挖掘过程的系统参数将趋于稳定。

2.如权利要求1所述的一种自适应的分布式流数据关联规则挖掘方法，其特征在于，步骤2标量化处理的方法如下：

对于数据项I，I∈流式数据中的任一transaction P，有映射F，使得：

IF＝F(I) (3)

其中，I为输入数据，I_F为对应的归一化之后的标量表示。