[发明专利]一种基于云计算的数据处理系统

摘要

本发明公开了一种基于云计算的数据处理系统，包括用于采集大规模感知源数据流的数据采集单元、接收处理并存储数据采集单元的数据的云计算中心、用户终端、管理员终端以及用于数据备份的备份服务器。本发明通过数据处理服务器对采集数据的处理，过滤出本节点负责处理的数据，降低了数据处理开销，同时使得数据处理本地化，减少了节点间的数据传输开销降低了存储能耗，针对云计算中采集的大量数据具有的异构性、不确定性、高数据流等特点，利用数据库服务器进行采集数据的三层数据存储，提高了数据存储的可扩展性和容错性，数据处理系统适用于不同用户的数据获取需求，具有很强的适用性，适用范围广。

主权项

1.一种基于云计算的数据处理系统，其特征在于，包括用于采集大规模感知源数据流的数据采集单元(1)、接收处理并存储所述数据采集单元(1)的数据的云计算中心、用户终端(6)、管理员终端(7)以及用于数据备份的备份服务器(8)；所述数据采集单元(1)包括传感器节点、射频识别器以及用于收集视频数据流的摄像头；所述云计算中心包括中心控制服务器(2)、用于对所述数据采集单元(1)采集的数据进行处理的数据处理服务器(3)、用于对所述数据处理服务器(3)处理的数据进行存储的数据库服务器(4)、用于对所述数据库服务器(4)存储的数据进行管理的数据管理服务器(5)以及应用接口(10)；所述应用接口(10)包括蓝牙通信模块、Wi‑Fi通讯模块以及网络通讯模块；所述数据处理服务器(3)对数据进行处理时，在Hadoop云计算框架下，将预处理数据分布缓存于各个节点，每个节点冗余地接收数据流，节点在Map阶段过滤出本节点负责处理的数据，并在本地缓存上进行Reduce阶段的计算，对Reduce阶段的计算结果在本地存储上进行中间结果分组复用，最后将本地计算结果同步到分布式存储区；所述数据库服务器(4)包括三层数据存储单元、中央存储调度单元、存储状态监控单元、存储虚拟化单元以及存储层‑管理层接口单元，所述三层数据存储单元包括用于存储和动态更新所述数据采集单元(1)采集的数据和所述数据处理服务器(3)计算的各分组的中间结果的第一数据层、用于存储和动态更新所述数据处理服务器(3)最终的数据处理结果的第二数据层、用于从第二数据层中剥取出需要演变为历史资料的数据进而对历史数据进行存储和更新的第三数据层，所述中央存储调度单元根据中心控制服务器(2)的指令分别调度所述三层数据存储单元中的数据集合，并保持调度过程中第一数据层和第二数据层的数据一致性，所述存储状态监控单元对数据的存储状态进行监控，所述存储虚拟化单元利用虚拟化技术，实现数据挖掘云服务的计算资源自主动态分配和调度，所述存储层‑管理层接口单元实现所述数据库服务器(4)与数据管理服务器(5)的数据交互；所述云计算中心分别与数据采集单元(1)、用户终端(6)、管理员终端(7)以及备份服务器(8)相连；所述云计算中心内部的中心控制服务器(2)分别与所述应用接口(10)、数据处理服务器(3)、数据库服务器(4)以及数据管理服务器(5)相连。