[发明专利]一种基于模式挖掘的噪音数据过滤方法

说明书

技术领域

本发明涉及一种数据处理方法，具体地说是一种基于模式挖掘的噪音数据过滤方法。

背景技术

数据质量指数据满足明确或隐含需求程度的指标，是对于现实世界的真实写照。数据质量问题不仅仅指出现不正确的数据还指数据不一致性问题，随着数据量的增加，数据的内部一致性问题变得极为重要，是广泛存在于各学科数据使用中的一个主题。噪声作为测量误差的随机部分，它可能涉及到值的失真或加入了伪造的对象数据。

关联分析作为数挖掘中的核心问题之一，用于寻找给定数据记录集中数据项间隐藏的关联关系及描述数据间有意义的联系，对于关联规则挖掘往往转化为基于支持度-置信度框架的频繁模式挖掘，但是，频繁模式往往不是真正用户感兴趣的模式，所以，兴趣模式挖掘的研究和应用得到人们的重视，在购物篮事物(market basket transaction)、生物信息学、公共健康及Web挖掘中等领域有着广泛的应用。

设数据集D={I1,I2,...,Ii...,In}由n个事务构成，对于每一个去除词频的实例看作一个事务Ii={wⁱ1,wⁱ2,...,wⁱ|Ii|}。设L={p1,p2,...,pk}表示兴趣模式集合，若实例Ii中不包含任何兴趣模式，即(                                                )，则实例Ii为数据集的噪音数据。为此，需要通过去除D中所有噪音实例的噪音过滤获得高质量数据以确保数据的正确性、一致性。

发明内容

为了克服现有技术中采用频繁模式挖掘噪音数据存在的问题，本发明的目的是提供一种基于模式挖掘的噪音数据过滤方法。该方法根据兴趣度指标条件，将兴趣度指标直接进行剪枝，一步到位地挖掘出兴趣模式，有效实现噪音数据过滤，获得高质量数据，提高了数据的正确性、一致性。

本发明的目的是通过以下技术方案来实现的：

一种基于模式挖掘的噪音数据过滤方法，其特征在于该方法首先建立由词袋数据集D构成的预处理数据结构FP树，该FP树包含了词袋数据集及其相应的事物数据集；其次，根据FP-2INF算法，最终将所有2-项集兴趣模式添加到兴趣模式集L中，完成噪音数据过滤；具体步骤如下：

1）预处理输入数据集；输入数据由二元组<Word_ID, Frequency>的词袋数据集组成的Word_ID-Instance矩阵，该矩阵每一行由Word_ID及其相关的实例数据构成,进而转化为构建FP树的事务数据集；

2）根据预处理的数据集，通过频繁集中频率降序的顺序建立FP树，设立基于2-项集余弦相似度兴趣模式噪音数据挖掘的参数min_supp、min_cos；

3）使用算法FP-2INF，将FP树分成前缀路径FP树P和多缀路径FP树Q，算法开始试图寻找单路径树，遍历单路径树P上的任意2-项集β∪α，如果满足cos(β∪α)≥min_cos兴趣模式，则将其添加至兴趣模式集L中；在多缀路径树Q中，对路径上的任意元素：若为单项集，建立条件模式基及条件FP树Treeβ，对非空的FP树Treeβ继续FP-2INF迭代；否则，对满足2-项集模式且符合余弦相似度条件的2-项集添加至兴趣模式集L中；

4）根据FP-2INF返回的2-项集余弦相似度兴趣模式，比较数据集D和模式集L中的数据；对于任意数据而言，如果存在则即为被兴趣模式过滤的噪音数据，完成噪音数据过滤。