[发明专利]基于云计算的大数据分布式处理方法及系统

摘要

一种基于云计算的大数据分布式处理方法，其包括如下步骤S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件；保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。

主权项

一种基于云计算的大数据分布式处理方法，其特征在于，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。