[发明专利]海量数据的分布式存储方法

摘要

本发明提供一种海量数据的分布式存储方法，包括分割、指派Map/Reduce任务、读取、本地写入、远程读取、写入、完成所有的Map/Reduce任务，主控程序激活用户程序等步骤。本方法能够对海量数据进行处理，具有对软硬件和系统资源需求低、占用率也低的特点。

主权项

一种海量数据的分布式存储方法，包括下列步骤：步骤1，分割，首先，输入文件被用户程序中的MapReduce函数库分割成M块，然后进行程序拷贝；步骤2，指派Map/Reduce任务；步骤3，读取，Master给工作机分配任务，被分配了Map任务的工作机处理输入块的相关工作；步骤4，本地写入，这些缓冲到内存的中间值将定时写入本地硬盘，使用分区函数分割成多个区域；步骤5，远程读取，当Reduce工作机接收到中间对的位置时，Master调用远程过程从Map工作机的本地硬盘上读取缓冲的中间数据；步骤6，写入，依照每一个由唯一的中间关键字对应的中间数据的序列情况，Reduce工作机发送该关键字和对应的中间数据给用户的Reduce函数，经Reduce函数处理后所得结果输出到一个最终的输出文件；步骤7，完成所有的Map/Reduce任务，主控程序激活用户程序。