[发明专利]一种基于云计算的数据处理系统

说明书

本发明公开了一种基于云计算的数据处理系统，包括用于采集大规模感知源数据流的数据采集单元、接收处理并存储数据采集单元的数据的云计算中心、用户终端、管理员终端以及用于数据备份的备份服务器。本发明通过数据处理服务器对采集数据的处理，过滤出本节点负责处理的数据，降低了数据处理开销，同时使得数据处理本地化，减少了节点间的数据传输开销降低了存储能耗，针对云计算中采集的大量数据具有的异构性、不确定性、高数据流等特点，利用数据库服务器进行采集数据的三层数据存储，提高了数据存储的可扩展性和容错性，数据处理系统适用于不同用户的数据获取需求，具有很强的适用性，适用范围广。

技术领域

本发明属于数据处理系统技术领域，具体涉及一种基于云计算的数据处理系统。

背景技术

随着计算机技术和社会的发展，仝世界都处在一个非常巨大的数据集团中。传统的数据处理模式是采用处理能力很强的大型机和关系型数据库，存储方式是将其全部存储到具有很大磁盘容量的大型机上，虽然近年来磁盘的存储容量不断增加，但是其访问速度却未能与时俱进，因此各种数据库厂商不得不开发出新一代的数据库来满足大数据的挑战。考虑到容量和并行处理等问题，有专家提出利用分布式技术建立分布式数据库，并且利用集群模式来存储海量数据，云计算技术在此有了很好的应用。

在云计算环境下处理的数据与传统数据不同，云计算中采集的大量数据具有的异构性、不确定性、高数据流等特点，在基于云计算的数据处理系统中，数据存储的可扩展性、容错性以及存储能耗能等方面存在一定的问题，同时随着用户数量的激增，由于不同行业的不同用户的不同需求越来越多，各类大数据资源不断的扩充着资源库，如何应对网络上日益增加的数据请求等问题是目前数据处理时面临的挑战。

发明内容

本发明提供一种基于云计算的数据处理系统，可解决上述问题。

一种基于云计算的数据处理系统，包括用于采集大规模感知源数据流的数据采集单元、接收处理并存储所述数据采集单元的数据的云计算中心、用户终端、管理员终端以及用于数据备份的备份服务器；

所述数据采集单元包括传感器节点、射频识别器以及用于收集视频数据流的摄像头；

所述云计算中心包括中心控制服务器、用于对所述数据采集单元采集的数据进行处理的数据处理服务器、用于对所述数据处理服务器处理的数据进行存储的数据库服务器、用于对所述数据库服务器存储的数据进行管理的数据管理服务器以及应用接口；

所述应用接口包括蓝牙通信模块、Wi-Fi通讯模块以及网络通讯模块；

所述数据处理服务器对数据进行处理时，在Hadoop云计算框架下，将预处理数据分布缓存于各个节点，每个节点冗余地接收数据流，节点在Map阶段过滤出本节点负责处理的数据，并在本地缓存上进行Reduce阶段的计算，对Reduce阶段的计算结果在本地存储上进行中间结果分组复用，最后将本地计算结果同步到分布式存储区，当已知节点的本地计算和本地存储资源不能满足实时性需求时，可以在新增节点上通过重新划分和移动缓存数据进行扩展。

所述数据库服务器包括三层数据存储单元、中央存储调度单元、存储状态监控单元、存储虚拟化单元以及存储层-管理层接口单元，所述三层数据存储单元包括用于存储和动态更新所述数据采集单元采集的数据和所述数据处理服务器计算的各分组的中间结果的第一数据层、用于存储和动态更新所述数据处理服务器最终的数据处理结果的第二数据层、用于从第二数据层中剥取出需要演变为历史资料的数据进而对历史数据进行存储和更新的第三数据层，所述中央存储调度单元根据中心控制服务器的指令分别调度所述三层数据存储单元中的数据集合，并保持调度过程中第一数据层和第二数据层的数据一致性，所述存储状态监控单元对数据的存储状态进行监控，所述存储虚拟化单元利用虚拟化技术，实现数据挖掘云服务的计算资源自主动态分配和调度，所述存储层-管理层接口单元实现所述数据库服务器与数据管理服务器的数据交互；

所述云计算中心分别与数据采集单元、用户终端、管理员终端以及备份服务器相连；