[发明专利]一种针对MapReduce计算的数据保密方法及系统

摘要

本发明公开了一种针对MapReduce计算的数据保密方法及系统，包括：在MapReduce的标准reduce阶段reduce2前添加另一reduce阶段reduce1；在map阶段的函数中写入随机分配函数将map阶段每个map任务中的数据平均发送给reduce1阶段的每个reduce任务；将reduce1阶段每个reduce任务合并的键值对数据分别发送给reduce2阶段的每个reduce任务，或者，在键值对数据中添加假键值对数据后分别发送；对数据进行处理，丢弃不属于reduce1阶段各个reduce任务合并的键值对数据。本发明实现了云计算平台中MapReduce作业数据的机密性保护。

主权项

1.一种针对MapReduce计算的数据保密方法，其特征在于，包括：Reduce添加步骤，在MapReduce框架的标准reduce阶段前添加另一reduce阶段；添加的另一reduce阶段称为reduce1阶段，所述标准reduce阶段称为reduce2阶段；map阶段处理步骤，在所述MapReduce的map阶段的partition函数中写入随机分配函数将map阶段每个map任务中的数据平均随机发送给reduce1阶段的每个reduce任务；reduce1阶段处理步骤，将reduce1阶段每个reduce任务合并的键值对数据分别发送给reduce2阶段的每个reduce任务，以使reduce2阶段的每个reduce任务输入的数据量大小相等，或者，在reduce1阶段每个reduce任务合并的键值对数据中添加若干假键值对数据后分别发送给reduce2阶段的每个reduce任务；reduce2阶段处理步骤，对reduce2阶段的每个reduce任务接收到的数据进行处理，丢弃不属于reduce1阶段各个reduce任务合并的键值对数据。