[发明专利]一种基于云计算的数据处理系统

权利要求书

1.一种基于云计算的数据处理系统，其特征在于，包括用于采集大规模感知源数据流的数据采集单元(1)、接收处理并存储所述数据采集单元(1)的数据的云计算中心、用户终端(6)、管理员终端(7)以及用于数据备份的备份服务器(8)；

所述数据采集单元(1)包括传感器节点、射频识别器以及用于收集视频数据流的摄像头；

所述云计算中心包括中心控制服务器(2)、用于对所述数据采集单元(1)采集的数据进行处理的数据处理服务器(3)、用于对所述数据处理服务器(3)处理的数据进行存储的数据库服务器(4)、用于对所述数据库服务器(4)存储的数据进行管理的数据管理服务器(5)以及应用接口(10)；

所述应用接口(10)包括蓝牙通信模块和网络通讯模块；

所述数据处理服务器(3)对数据进行处理时，在Hadoop云计算框架下，将预处理数据分布缓存于各个节点，每个节点冗余地接收数据流，节点在Map阶段过滤出本节点负责处理的数据，并在本地缓存上进行Reduce阶段的计算，对Reduce阶段的计算结果在本地存储上进行中间结果分组复用，最后将本地计算结果同步到分布式存储区；

所述数据库服务器(4)包括三层数据存储单元、中央存储调度单元、存储状态监控单元、存储虚拟化单元以及存储层-管理层接口单元，所述三层数据存储单元包括用于存储和动态更新所述数据采集单元(1)采集的数据和所述数据处理服务器(3)计算的各分组的中间结果的第一数据层、用于存储和动态更新所述数据处理服务器(3)最终的数据处理结果的第二数据层、用于从第二数据层中剥取出需要演变为历史资料的数据进而对历史数据进行存储和更新的第三数据层，所述中央存储调度单元根据中心控制服务器(2)的指令分别调度所述三层数据存储单元中的数据集合，并保持调度过程中第一数据层和第二数据层的数据一致性，所述存储状态监控单元对数据的存储状态进行监控，所述存储虚拟化单元利用虚拟化技术，实现数据挖掘云服务的计算资源自主动态分配和调度，所述存储层-管理层接口单元实现所述数据库服务器(4)与数据管理服务器(5)的数据交互；

所述云计算中心分别与数据采集单元(1)、用户终端(6)、管理员终端(7)以及备份服务器(8)相连；

所述云计算中心内部的中心控制服务器(2)分别与所述应用接口(10)、数据处理服务器(3)、数据库服务器(4)以及数据管理服务器(5)相连。

2.如权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述数据采集单元(1)通过无线网络连接至所述数据处理服务器(3)；所述备份服务器(8)分别与所述数据库服务器(4)和数据管理服务器(5)相连；所述管理员终端(7)与所述中心控制服务器(2)相连；所述用户终端(6)通过所述应用接口(10)与所述中心控制服务器(2)相连。

3.如权利要求1所述的一种基于云计算的数据处理系统，其特征在于，还包括用于对所述备份服务器(8)的数据进行存储的备份存储器(9)，所述备份存储器(9)与所述备份服务器(8)相连。

4.如权利要求1所述的一种基于云计算的数据处理系统，其特征在于，所述用户终端(6)和管理员终端(7)为笔记本、手机、平板电脑。