[发明专利]基于预判筛选的局部扫描关联规则计算机数据分析方法

摘要

本发明公开了基于预判筛选的局部扫描关联规则计算机数据分析方法，本发明针对经典Apriori算法的固有缺陷，基于预判筛选的关联规则分析算法，提出一种基于事务号查询的局部扫描关联规则分析算法‑MAWP算法，该算法对包含频繁k项集的事务号进行记录，然后在连接、剪枝、预判筛选的基础上，在对筛选后的候选k项集进行验证的过程中，不是对数据库中所有事务进行全部扫描，而是进行局部扫描，仅扫描包含某k‑1项集并且事务数最少的事务集合，从而减少确定频繁项目集所扫描的事务总数，降低算法运算的时间，提高算法的运算效率。

主权项

1.基于预判筛选的局部扫描关联规则计算机数据分析方法，其特征在于，包括如下步骤：步骤1，扫描计算机数据中的事务数据库D，得到频繁k‑1项集的集合L_k‑1，k∈{2,3,…}；步骤2，将频繁k‑1项集的集合L_k‑1与自身连接产生候选频繁k项集的集合，记作C_K；步骤3，利用Apriori算法对集合C_K进行剪枝；步骤4，计算集合C_K中成员的预判支持度，进行预判筛选；步骤5，对事务数据库D进行局部扫描判断；步骤6，重复执行上述步骤2～步骤5，直到不能发现更大的频繁项目集为止；步骤7，最终获得的频繁项目集集合记为F，则产生关联规则R＝{X‑>Y，X和Y为频繁项目集成员F_i的非空子集，F_i为频繁项目集集合F的成员，即F_i∈F，且X∪Y＝F_i}；步骤1包括：扫描事务数据库D，对包含项目E_i的事务数进行统计，并将其记为N_TEi，E_i表示事务数据库包含的第i个项目，i∈[1，N_E]，则项目集X＝{E_i，i∈[1，N_E]}的支持度为：support(X＝{S_i，i∈[1，N_S]})＝N_TEi/|D|，其中，|D|为数据库D包含的事务数，N_E表示事务数据库D中项目的数量，N_T表示数据库包含的事务数，若support(X)大于预设的最小支持度min_support，则将项目集X加入频繁1‑项集L₁中，并将包含项目集X的事务编号I_j加入包含项目集X的事务集S_TX中，j∈[1，N_T]；反之，不加入；令L₁＝L_k‑1，从而得到频繁k‑1项集的集合L_k‑1；步骤2中，将频繁k‑1项集的集合L_k‑1与自身连接产生候选频繁k项集的集合，连接过程按照以下算法执行：设X₁和X₂是频繁k‑1项集的集合L_k‑1中的成员，记X_i[j]表示X_i中的第j个项目，X_i表示频繁k‑1项集的集合L_k‑1中的第i个成员，假设项集中的项目按字典次序排序，即对于任意频繁k‑1项集的集合L_k‑1中的成员X_i，X_i[1]<X_i[2]<………<X_i[k‑1]，将频繁k‑1项集的集合L_k‑1与自身连接，当成员X₁和X₂前k‑2个项目相同，且成员X₁的第k‑1个项目小于X₂的第k‑1个项目，即满足如下条件时：(X₁[1]＝X₂[1])&&(X₁[2]＝X₂[2])&&…&&(X₁[k‑2]＝X₂[k‑2])&&(X₁[k‑1]<X₂[k‑1])，则判定X₁和X₂是可连接的，连接X₁和X₂产生的结果是{X₁[1],X₁[2],……,X₁[k‑1],X₂[k‑1]}；步骤3包括：对集合C_K的成员的所有非空子集的支持度进行判断，若存在非空子集的支持度小于预设的最小支持度min_support，根据Apriori性质判定该成员不是频繁项集，将其从C_K中删除；反之，判定该成员为频繁项集，将该成员保留在候选项集C_K中；步骤4包括：通过独立事件概率公式计算集合C_K中第i个成员X_i的先验概率P(X_i)，i∈[1,N_Ck]，N_Ck表示集合C_K中成员的个数，若P(X_i)>(1+0.1)min_support，则将该成员直接添加到频繁k‑项集的集合L_k中；若P(X_i)<(1‑0.1)min_support，则将该成员从集合C_K中删除；反之，将该成员继续保留在集合C_K中，其中P(X_i)＝P(X_i[1]X_i[2]…X_i[k‑1])P(X_i[k])；步骤5包括如下步骤：步骤5‑1，对事务数据库D进行局部扫描，以对C_K中包含的成员X_i进行验证，此时仅扫描包含成员X_i中的任意k‑1个项目，并且包含的事务数量最少的事务集合：设X’为成员X_i的子集，包含X_i的前k‑1个项目，即X’＝X_i[1]X_i[2]…X_i[k‑1]，同样地X_i[j]，j[1,k‑1]表示X_i中的第j个项目，且包含X’的事务集合S_TX’包含的事务数量最少，则在事务集合S_TX’包含的所有事务中进行扫描，若编号为I_j的事务包含X_i[k]，则将I_j加入集合S_TXi，并将包含成员X_i的事务数N_TXi加1，直到事务集合S_TX’扫描完毕为止；步骤5‑2，令频繁k‑项集的集合L_k为空集，计算成员X_i的支持度，判断成员X_i的支持度是否大于最小支持度min_support，如果是，则判定该成员X_i是频繁的，将该成员X_i加入频繁k‑项集的集合L_k中，并记录S_TXi和N_TXi，否则删除该成员X_i，其中S_TXi表示包含成员X_i的事务集合，N_TXi表示S_TXi包含的成员数量；步骤5‑3，令k＝k+1，执行步骤6。