[发明专利]基于云计算的大数据分布式处理方法及系统

说明书

一种基于云计算的大数据分布式处理方法，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件；保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。

技术领域

本发明涉及大数据云计算技术领域，特别涉及一种基于云计算的大数据分布式处理方法及系统。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Bigdata)通常用来表示大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于用途分析。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘系统、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。然而传统数据处理方法存在以下不足：1、传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。2、传统的数据处理方法是以处理器为中心，大大增加了计算的开销，无法适应大数据的大量非结构性数据的处理需求。

发明内容

有鉴于此，本发明提出一种基于云计算的大数据分布式处理方法及系统。

一种基于云计算的大数据分布式处理方法，其包括如下步骤：

S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；

S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；

S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；

S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；

S5、将所有的映射输出文件并存储到分布式文件存储系统上。

在本发明所述的基于云计算的大数据分布式处理方法中，所述步骤S1中对输入文件大小进行输入分片包括：

建立关联关系表，将输入文件拆分为位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值，并将各个输入文件的各个关系值的对应关系写入关联关系表中；

将各个关系值对应的数据划入输入分片中。

在本发明所述的基于云计算的大数据分布式处理方法中，所述步骤S2包括：