[发明专利]一种基于异常样本的关联规则挖掘方法、系统、终端及存储介质

说明书

本发明公开了一种基于异常样本的关联规则挖掘方法、系统、终端及存储介质。包括：获取待挖掘样本数据；从待挖掘样本数据中学习各个统计项目的共现条件概率，根据共现条件概率预测每个统计项目在各个样本中的出现概率；根据统计项目在各个样本中的出现概率与统计项目在各个样本中的真实出现情况计算各个样本的异常分数，并根据异常分数将待挖掘样本数据划分为正常样本和异常样本；采用关联规则挖掘算法对正常样本进行关联规则挖掘，得到候选关联规则；计算候选关联规则在异常样本中的违反分数，通过违反分数对候选关联规则进行筛选，得到最终的关联规则。本发明利用异常样本对从正常样本中挖掘得到的关联规则进行筛选，降低了关联规则的假阳性。

技术领域

本发明涉及数据挖掘技术领域，特别是涉及一种基于异常样本的关联规则挖掘方法、系统、终端及存储介质。

背景技术

关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性，是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。现有的关联规则挖掘算法主要包括知识总结和基于数据的规则挖掘两种，知识总结即由相应的领域专家基于经验和领域知识总结进行该领域的关联规则挖掘，该方法虽然解释性强，但可能会得到正确但无用的规则，且规则的挖掘极度依赖于人工经验和知识积累。基于数据的规则挖掘算法是应用频繁集挖掘的算法，根据数据中各项目的共现，筛选满足度量值的规则。刚方法虽然可以自动生成候选规则，但候选规则的假阳性较高，需要进行人工验证。

发明内容

本发明提供了一种基于异常样本的关联规则挖掘方法、系统、终端及存储介质，旨在解决现有的关联规则挖掘算法中存在的需要依赖于人工经验和知识积累以及假阳性高、需要人工验证等不足。

为解决上述技术问题，本发明采用的技术方案为：

一种基于异常样本的关联规则挖掘方法，包括：

获取待挖掘样本数据，所述待挖掘样本数据包括正常样本和异常样本，且每个样本中至少包括一个统计项目；

从所述待挖掘样本数据中学习各个统计项目的共现条件概率，根据所述共现条件概率预测每个统计项目在各个样本中的出现概率；

根据所述统计项目在各个样本中的出现概率与所述统计项目在各个样本中的真实出现情况计算各个样本的异常分数，并根据所述异常分数将所述待挖掘样本数据划分为正常样本和异常样本；

采用关联规则挖掘算法对所述正常样本进行关联规则挖掘，得到候选关联规则；

计算所述候选关联规则在异常样本中的违反分数，通过所述违反分数对所述候选关联规则进行筛选，得到最终的关联规则。

本发明实施例采取的技术方案还包括：所述获取待挖掘样本数据还包括：

获取所述待挖掘样本数据中各个样本的统计项目出现矩阵X；所述统计项目出现矩阵X的尺寸为N*m，N为样本的数量，m为所有统计项目的个数，统计项目出现矩阵X的每一行分别表示一个样本，除第一列之外，所述统计项目出现矩阵X的每一列分别表示各统计项目是否在每个样本中出现。

本发明实施例采取的技术方案还包括：所述从所述待挖掘样本数据中学习各个统计项目的共现条件概率，根据所述共现条件概率预测每个统计项目在各个样本中的出现概率具体为：

将所述统计项目出现矩阵X输入受限玻尔兹曼机网络；

所述受限玻尔兹曼机网络从所述统计项目出现矩阵X中学习各个统计项目的共现条件概率矩阵B；

根据所述共现条件概率矩阵B预测每个统计项目在各个样本中的出现概率矩阵