[发明专利]用于在MapReduce系统中保护隐私数据的方法和装置

说明书

技术领域

本发明总体涉及MapReduce系统中的数据处理技术，尤其涉及在MapReduce系统中的隐私数据保护。

背景技术

MapReduce是Google公司提出的一种软件架构。MapReduce架构用于大规模数据集(大于1TB)的并行运算，其通过把对数据集的大规模操作分发给网络上的每个节点实现并行运算，在web访问日志分析、文档聚类、机器学习、数据统计、基于统计的机器翻译等领域有广泛的应用。例如，Hadoop就是一种实现MapReduce的实现。越来越多的云计算服务商在云计算系统中部署了MapReduce架构。

对于采用云计算服务提供的MapReduce运算的用户来说，云计算系统的计算节点属于公有域，在MapReduce运算过程中，用户的隐私数据也暴露到公有域，难以得到有效保护。因此，很多用户希望将MapReduce运算过程中涉及的隐私数据放在私有域中处理，例如放在企业的私有云系统中处理。

发明内容

本发明的一个目的，是提供用于在MapReduce系统中保护隐私数据的方法和装置。

根据本发明的一个方面，提供一种用于在MapReduce系统中保护隐私数据的方法，其中，所述MapReduce系统包含公有子系统和私有子系统，该方法包含：接收要在MapReduce系统中执行的MapReduce程序，其中，所述MapReduce程序中包含指定Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性的指令；在执行MapReduce程序之前，检测Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性；根据所检测的隐私属性，分配用于被私有子系统和共有子系统处理的数据，其中，将隐私属性为私有的数据分配到私有子系统。

根据本发明的另一个方面，提供用于在MapReduce系统中保护隐私数据的装置，其中，所述MapReduce系统包含公有子系统和私有子系统，该装置包含：程序接收装置，被配置以接收要在MapReduce系统中执行的MapReduce程序，其中，所述MapReduce程序中包含指定Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性的指令；静态检测装置，被配置以在执行MapReduce程序之前，检测Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性；静态数据分配装置，被配置以根据所检测的隐私属性，分配用于被私有子系统和共有子系统处理的数据，其中，将隐私属性为私有的数据分配到私有子系统。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优点将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1表示根据本发明一实施例的云计算节点；

图2表示根据本发明一实施例的云计算环境；

图3表示根据本发明一实施例的抽象模型层；

图4示意性地表示一个适于在其中实现本发明各种实施例的MapReduce系统的框图；

图5是表示按照本发明的一个实施例的方法的简略流程图；

图6至8示意性地表示按照本发明的方法进行静态检测和数据分派的各种实施方式的过程；

图9示意性地表示按照本发明的方法进行动态检测和数据分派的各种实施方式的过程；

图10是表示按照本发明的一个实施例的装置的简略框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。