[发明专利]海量数据的分布式存储方法

权利要求书

1.一种海量数据的分布式存储方法，包括下列步骤：

步骤1，分割，首先，输入文件被用户程序中的MapReduce函数库分割成M块，然后进行程序拷贝；

步骤2，指派Map/Reduce任务；

步骤3，读取，Master给工作机分配任务，被分配了Map任务的工作机处理输入块的相关工作；

步骤4，本地写入，这些缓冲到内存的中间值将定时写入本地硬盘，使用分区函数分割成多个区域；

步骤5，远程读取，当Reduce工作机接收到中间对的位置时，Master调用远程过程从Map工作机的本地硬盘上读取缓冲的中间数据；

步骤6，写入，依照每一个由唯一的中间关键字对应的中间数据的序列情况，Reduce工作机发送该关键字和对应的中间数据给用户的Reduce函数，经Reduce函数处理后所得结果输出到一个最终的输出文件；

步骤7，完成所有的Map/Reduce任务，主控程序激活用户程序。

2.如权利要求1所述的海量数据的分布式存储方法，其中步骤1中每块文件大概在16M到64MB之间。

3.如权利要求1所述的海量数据的分布式存储方法，步骤2中程序由一个主控程序Master和作为主控程序来分配工作的Worker（工作机）组成，Master分配这些Map/Reduce任务到选择空闲的工作机上。

4.如权利要求1所述的海量数据的分布式存储方法，步骤3中工作机处理输入块的相关工作指的是数据的输入及处理。

5.如权利要求1所述的海量数据的分布式存储方法，其中步骤4中由Maser将接收那些在本地磁盘的数据数列的存放位置信息，由Reduce工作机负责接收这些信息。

6.如权利要求1所述的海量数据的分布式存储方法，步骤5中Reduce工作机读取这些中间值后，它就按照key是否相同来进行排序，将相同key的值排序在一起。