[发明专利]增量式隐私保护的频繁模式挖掘方法及系统

说明书

本发明公开了增量式隐私保护的频繁模式挖掘方法及系统，分别对原数据库和新增数据库进行频繁模式挖掘，根据二者的数据量、索引量确定其加权系数，再对原数据库和新增数据库的频繁项集进行同类项合并，得到新数据库的确认频繁项集和待确认频繁项集，将确认频繁项集中的频繁项列入新数据库的频繁项集，对于待确认频繁项集中的待确认频繁项，依次确认每个待确认频繁项是否列入新数据库的频繁项集，获取新数据库的频繁项集中每个频繁项在新数据库的支持度。本发明引入了增量更新模型，采用高效且简单的频繁项集生成算法，通过加权系数利用原数据库的频繁模式挖掘结果得到新数据库中频繁项的支持度，提高了隐私保护的频繁模式挖掘算法的效率。

技术领域

本发明涉及信息技术和数据挖掘的技术领域，尤其涉及增量式隐私保护的频繁模式挖掘方法及系统。

背景技术

目前，在隐私保护数据挖掘中的需求是，根据具体情况对原始数据库中的记录进行模糊化处理的同时保持数据的统计特性，即，在经过处理的数据库上进行数据挖掘，通过对数据的原始统计特性的估计来得到较为准确的处理结果，同时又不泄露用户的原始数据。

频繁模式是数据集中频繁出现的项集、序列或子结构。频繁模式挖掘是关联规则、相关分析、因果分析的基础，对分类、聚类也有很大帮助。它在实际中的应用非常广泛，例如，购物篮分析、网页日志分析、DNA序列分析等。因此，频繁模式挖掘是一项非常重要的数据挖掘任务。

数据库中所包含的数据并不会一成不变，其会随着时间的流逝而产生或大或小的变化，由于数据库的更新，会引入新的关联规则并使一些现有的关联规则失效，频繁项集也存在类似的更新问题。针对数据库中数据新增的问题，如果要在整个更新的数据库上重新运行关联规则挖掘算法，就会造成了之前挖掘结果的极大浪费。最初在找出旧的大项目集时完成的所有计算都被浪费，新的频繁项集都必须重新开始计算，这样必将导致现有技术的隐私保护的频繁模式挖掘算法效率不高。

发明内容

为了克服现有技术的不足，本发明的目的在于提供增量式隐私保护的频繁模式挖掘方法及系统，旨在解决现有技术的隐私保护的频繁模式挖掘算法效率不高的问题。

本发明的目的采用以下技术方案实现：

一种增量式隐私保护的频繁模式挖掘方法，包括：

设定步骤，设定原数据库的阈值、新增数据库的阈值、新数据库的阈值；所述新数据库为原数据库增加了新增数据库后形成的数据库；

第一挖掘步骤，根据原数据库的阈值对原数据库进行频繁模式挖掘，获取原数据库的频繁项集、各频繁项及其支持度；

第二挖掘步骤，根据新增数据库的阈值对新增数据库进行频繁模式挖掘，获取新增数据库的频繁项集、各频繁项及其支持度；

系数确定步骤，根据原数据库的数据量和索引量、新增数据库的数据量和索引量，确定原数据库的加权系数和新增数据库的加权系数；

合并步骤，对原数据库的频繁项集和新增数据库的频繁项集进行同类项合并，得到新数据库的确认频繁项集和待确认频繁项集；

确认步骤，将确认频繁项集中的频繁项列入新数据库的频繁项集；对于待确认频繁项集中的待确认频繁项，依次确认每个待确认频繁项是否列入新数据库的频繁项集；获取新数据库的频繁项集中每个频繁项在新数据库的支持度。

在上述实施例的基础上，优选的，所述合并步骤，具体为：

将原数据库的频繁项集中的频繁项和新增数据库的频繁项集中的频繁项作为待确认频繁项；

如果某待确认频繁项同时出现在原数据库和新增数据库，则将该待确认频繁项列入新数据库的确认频繁项集；

如果某待确认频繁项只出现在原数据库或者新增数据库，则将该待确认频繁项列入新数据库的待确认频繁项集。