[发明专利]一种分布式环境下隐私保护的关联规则挖掘方法和系统

说明书

本发明公开了一种支持分布式环境下隐私保护的关联规则挖掘方法和系统，涉及关联规则挖掘领域，包括以下步骤：可信机构将一个共享密钥发送给用户；用户将需要进行关联规则挖掘的数据进行加密后，发送给计算集群；计算集群根据用户发送的关联规则挖掘需求进行计算和分析，再将结果返回给用户；用户得到返回结果后，利用共享密钥进行解密从而得到真实的关联规则。本发明中计算集群对用户上传的数据无法进行理解，但用户指定关联规则后却能借用计算集群的计算资源进行数据挖掘，且挖掘结果对计算集群不可见，外部攻击者也无法获取信息，从而完成了基于隐私保护的关联规则挖掘；而计算集群由Scala分布式计算框架搭建，容错率和效率都较高。

技术领域

本发明涉及关联规则挖掘领域，尤其涉及一种支持分布式环境下隐私保护的关联规则挖掘方法和系统。

背景技术

在当前互联网时代，从用户数据中挖据出企业或者第三方感兴趣的、有潜在价值的信息与规则十分重要。数据挖掘应运而生，它能够帮助捕捉到大量数据中无法直接观测得到的信息，并创造更多价值。而关联规则挖掘就是其中一种较为常见的算法，它能够从大量的数据项中捕捉隐藏关系。关联规则数据挖掘最早由Agrawal等人在1993年针对“市场购物篮问题”所提出，了解并分析了顾客的消费行为，从而挖掘出一次交易中两个不同商品被同时购买的可能性。例如购买儿童尿布的男性顾客常常会顺带购买一些啤酒，若是将儿童尿布与啤酒放在较为接近的地方就能提升更多销售额。这就是关联规则分析的一个典型案例。

而随着这些年数据爆发式地增长，计算资源成为数据挖掘的瓶颈之一。为了突破瓶颈，分布式数据源环境下的云计算成了数据挖掘的完美平台。但是，在数据收集以及挖掘过程中，存在许多安全隐患。过去由于缺乏相关专业知识和计算资源，企业或者数据的所有者通常会将用户数据外包给第三方处理。该场景下，数据保存于服务器，服务器可直接获取数据内容，用户的隐私得不到保障；其次，数据所有者为了从大量用户数据中进行关联规则挖掘而把数据交给第三方时，第三方也能获得挖掘结果。这就导致企业私有财产(数据库中的数据和关联规则的挖掘结果)的泄露，用户数据隐私和企业私有财产受到威胁，特别是当服务提供者有意或无意泄露数据时，将面临巨大的风险。

在当前环境下能够提供隐私保护功能的关联规则挖掘算法主要有以下两类：

1)查询限制：对数据进行抽样、隐藏、划分等处理，基于不完整的数据通过概率统计等方式进行挖掘；

2)数据干扰：对数据进行离散变换、增加干扰噪声从而保护原数据，最后基于增加了干扰的数据进行关联规则挖掘。

当前网络环境下用户的数据通常需要将个人数据发送到云端，而各种操作也需要通过服务提供商。计算集群中直接保存的用户数据存在被泄露的可能。

但加密后的数据通常无法直接进行关联规则挖掘，如何在保证用户数据不可见的同时满足关联规则挖掘的需求便是问题所在。过去服务提供者由于缺乏专业知识或者计算资源，会将数据挖掘部分外包给第三方，但现在的网络环境下数据存储和计算无需交给第三方，这也是要改进的部分。

因此，本领域的技术人员致力于开发一种支持分布式环境下隐私保护的关联规则挖掘方法和系统。无需将数据存储和计算交给第三方，在保证用户数据不可见的同时实现关联规则挖掘。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何从用户数据挖掘出有效信息且保证隐私不会泄露。

为实现上述目的，本发明提供了一种支持分布式环境下隐私保护的关联规则挖掘方法，包括如下步骤：

步骤一，可信机构在执行初期选择两个大素数p，α作为安全参数，并将一个共享密钥s发送所有用户；