[发明专利]一种在大数据平台中分发数据的系统及方法

说明书

本发明的在大数据平台中分发数据的系统和方法，采用异步I/O为技术基础构建大数据分发单元进行大数据高速分发，采用服务端和客户端线程分离，提高数据分发的吞吐量，通过多维度结构存储单元保证数据的完全结构化，用大数据管理中心以及数据总线模块保证数据分发的准确性和正确性，使得各个部分配合起来均能高速运转，不会相互等待资源，可以充分利用资源。同时整个系统呈现很好的伸缩性。

技术领域

本发明涉及数据安全领域，尤其涉及一种在大数据平台中分发数据的方法及系统。

背景技术

现有技术中，基于Hadoop架构的大数据平台具有高可扩展性、高可靠性以及高容错性。现阶段大量的数据查询和数据流转广泛采用内存数据库(Memory DB)和非关系数据库技术(NoSql)，以及缓存技术(Cache)，已经取得了不错的进步。但是，在实际的大数据业务处理过程中，如无线应用协议上网日志、大用户邮件系统、Blog日志分析、用户信息跟踪与分析等应用中，目前的大数据平台在数据I/O处理方法上存在缺陷，尤其是对于非结构化的、半结构的、大数据量的业务，I/O处理速度存在较为严重的问题，其主要体现在:

1.在大数据量的情况下，尤其在大数据量连续写的情况下，I/O性能比较慢，而且I/O速度加速比和服务器节点数不成线性关系；

2.在LOG、BLOG、视频、社会关系信息等非结构、半结构数据的处理上，没有按照大数据存储类型与特点进行优化，处理速度偏慢；

3.采用多服务同步写的技术，导致在网络和存储设备情况不明等状态下同步时间较长，使得在数据一致性的处理上花销时间较长。

因此，改进数据高速分发和I/O操作就成为提高大数据平台性能的最重要的目标。

发明内容

本发明的目的是通过以下技术方案实现的。

根据本发明的实施方式，提出一种在大数据平台中分发数据的系统，所述系统具体包括：大数据分发单元、数据总线模块、管理中心和大数据适配模块；其中，

所述大数据分发单元用于接收多个客户端发送来的数据并保存在自身高速缓存中；从数据总线模块获取数据分发规则并对缓存数据进行分发分配处理；然后向目标服务器分发数据；

所述数据总线模块是一个分布式发布消息订阅系统，用于持续存储数据分发规则，以供大数据分发单元并发读取；

所述管理中心依据资源信息制定数据分发规则，发送至数据总线模块保存；

所述大数据适配模块用于收集大数据分发单元和目标服务器的资源信息，发给管理中心。

优选的，所述的大数据分发单元具体包括：

负载均衡模块，用于接收多个客户端发送来的数据，使用负载均衡算法将数据缓存到各异步服务端的自身高速缓存中；

异步服务端，用于缓存通过负载均衡模块均衡后的数据；还用于从数据总线模块获取数据分发规则；并根据分发规则将自身高速缓存中的数据进行结构重构，生成包含分发资源信息的新的多维度结构数据，保存在多维度结构存储单元中；

多维度结构存储单元，用于存储所述多个异步服务端重构数据生成的多维度结构数据；

异步客户端，用于获取多维度结构存储单元中的数据，找到分发目标服务器的资源信息，向目标服务器分发多维度结构存储单元中的数据。

特别的，所述异步服务端与异步客户端使用异步I/O模式进行交互。

优选的，所述异步服务端还具体包括：

配置模块，用于配置异步服务端提供的服务并将配置信息发送给管理中心；

数据获取模块，用于接收通过负载均衡模块均衡后的数据并保存在自身高速缓存中；