[发明专利]一种在大数据平台中分发数据的系统及方法

摘要

本发明的在大数据平台中分发数据的系统和方法，采用异步I/O为技术基础构建大数据分发单元进行大数据高速分发，采用服务端和客户端线程分离，提高数据分发的吞吐量，通过多维度结构存储单元保证数据的完全结构化，用大数据管理中心以及数据总线模块保证数据分发的准确性和正确性，使得各个部分配合起来均能高速运转，不会相互等待资源，可以充分利用资源。同时整个系统呈现很好的伸缩性。

主权项

1.一种在大数据平台中分发数据的系统，所述系统具体包括：大数据分发单元、数据总线模块、管理中心和大数据适配模块；其中，所述大数据分发单元用于接收多个客户端发送来的数据并保存在自身高速缓存中；从数据总线模块获取数据分发规则并对缓存数据进行分发分配处理；然后向目标服务器分发数据；所述数据总线模块是一个分布式发布消息订阅系统，用于持续存储数据分发规则，以供大数据分发单元并发读取；所述管理中心依据资源信息制定数据分发规则，发送至数据总线模块保存；所述大数据适配模块用于收集大数据分发单元和目标服务器的资源信息，发给管理中心。