[发明专利]一种大数据的处理系统

说明书

本发明公开一种大数据的处理系统，包括数据库单元，用于存储结果数据；接收单元，接收待分析的数据；切分处理单元，用于将待分析的数据切分为多个数据分片；分析单元组，具有多个的处理节点，用于分析数据分片并形成子结果数据；分配单元，将切分处理单元生成的多个数据分片并依次分配给分析单元组的多个处理节点进行处理；接收单元，依次接收分析单元组的各个处理节点处理后的子结果数据；合并写入单元，用于收集的各个子结果数据进行合并，形成结果数据并写入到数据库单元内；该大数据的处理系统数据处理速度快。

技术领域

本发明涉及一种大数据的处理系统。

背景技术

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

在大数据领域中，数据的处理速度是尤为关键的，本领域的技术人员希望大数据处理系统处理数据的速度可以进一步的提升。

发明内容

本发明要解决的技术问题是提供一种数据处理速度快的大数据的处理系统。

为解决上述问题，本发明采用如下技术方案：

一种大数据的处理系统，包括

数据库单元，用于存储结果数据；

接收单元，接收待分析的数据；

切分处理单元，用于将待分析的数据切分为多个数据分片；

分析单元组，具有多个的处理节点，用于分析数据分片并形成子结果数据；

分配单元，将切分处理单元生成的多个数据分片并依次分配给分析单元组的多个处理节点进行处理；

接收单元，依次接收分析单元组的各个处理节点处理后的子结果数据；

合并写入单元，用于收集的各个子结果数据进行合并，形成结果数据并写入到数据库单元内。

作为优选，所述切分处理单元的切分规则为根据分析单元组的节点的数量，将所述待分析的数据切分为与处理节点的数量相同的数据分片。

本发明还提供一种大数据的处理系统的处理方法，包括以下步骤：

1)接收待分析的数据；

2)将待分析的数据进行切分处理，切分为多个数据分片；

3)将生成的多个数据分片并按顺序依次分配给分析单元组的多个处理节点进行处理；

4)依次接收分析单元组的各个处理节点处理后的子结果数据，并对子结果数据根据分配顺序进行标记；

5)对各个子结果数据根据顺序标记进行合并，形成结果数据并写入到数据库单元内。

作为优选，所述切分处理的具体步骤为：

A)获取待处理数据的签名；

B)根据汉明距离的相似阈值，确定切分段数；

C)按照切分段数，对签名进行一级切分，以获得至少两个前缀首部；

D)对于所述至少两个前缀首都中的每个前缀首部，按照切分段数，对所述签名中除前缀首部之外剩余的位数进行二级切分，以获得所述前缀首部对应的至少两个前缀尾部；