[发明专利]一种基于云计算的大数据处理系统

说明书

本发明涉及大数据处理技术领域，尤其是一种基于云计算的大数据处理系统，终端设备和数据采集模块电性连接，且数据采集模块上电性连接有音频数据模块，数据采集模块上电性连接有视频数据模块，视频数据模块和位置信息模块电性连接，数据预处理模块上还连接有数据解析模块，数据解析模块包括拆分单元模块，拆分单元模块上电性连接有映射单元模块，且映射单元模块上电性连接有输出单元模块，输出单元模块上电性连接有合并存储模块，数据预处理模块上电性连接有分布存储模块，分布存储模块上还电性连接有管理调度模块。本发明通过把海量的大数据按照预先设置的规则分割成了若干部分，可处理大量非结构化的数据，提高了数据处理速度。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于云计算的大数据处理系统。

背景技术

在安防领域，信息孤岛技术十分突出。在一座城市内，既有公安部门安装的摄像监控设备，也有各个单位安装的摄像监控设备，这些设备或系统所产生的监控数据难以实现互联互通，造成信息孤岛现象，近年来，以云计算、物联网为核心的智慧城市建设大安防概念，试图将这些信息孤岛现象消除，然而安防监控数量巨大，造成通信宽带的巨大消耗，在安防监控领域，随着全方位和多层次的监控时代到来，产生了越来越多的安防监控数据，随着云时代的来临，大数据也吸引了越来越多的关注，大数据通常用来表示大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于用途分析，大数据分析常与云计算联系到一起，需要实现以较小的通信代价实现安防大数据的互联互通，并具有较高的扩展弹性和易于实施的特点。为此，我们提出了一种基于云计算的大数据处理系统。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于云计算的大数据处理系统。

为了实现上述目的，本发明采用了如下技术方案：

设计一种基于云计算的大数据处理系统，包括终端设备，所述终端设备用于获得需要进行安防地区内的监控视频以及音频信号，所述终端设备和数据采集模块电性连接，所述数据采集模块用于采集物联网节点上的安防监控数据，且所述数据采集模块上电性连接有音频数据模块，所述数据采集模块上电性连接有视频数据模块，所述视频数据模块和位置信息模块电性连接，即可获取监控中的音频数据、视频数据以及位置信息，所述数据采集模块上还电性连接有数据预处理模块，所述数据预处理模块可用于对采集的安防监控数据进行格式转换、剔除坏点、去除线性趋势项、零均值化处理以及数据平滑或拟合，所述数据预处理模块上还连接有数据解析模块，所述数据解析模块包括拆分单元模块，所述拆分单元模块上电性连接有映射单元模块，且所述映射单元模块上电性连接有输出单元模块，所述输出单元模块上电性连接有合并存储模块，所述数据预处理模块上电性连接有分布存储模块，所述分布存储模块是将各种不同的设备虚拟为存储池，提高存储空间的利用率，同时提供存储扩展、存储管理、存储维护以及存储升级空间，所述分布存储模块上还电性连接有管理调度模块，所述管理调度模块还和应用接口模块电性连接。

优选的，所述数据预处理模块上还连接有解码处理模块，所述解码处理模块上还电性连接有数据填充模块，所述数据填充模块上电性连接有噪音清洗模块。

优选的，所述管理调度模块包括访问调度模块，所述访问调度模块上电性连接有内容发布模块，所述内容发布模块上电性连接有存储管理模块，所述存储管理模块和数据备份模块电性连接。

优选的，所述应用接口模块包括数据存储接口模块，所述数据存储接口模块上电性连接有空间租赁接口模块，且所述空间租赁接口模块上电性连接有公共资源接口模块，所述公共资源接口模块上还连接有多用户数据共享接口模块，所述多用户数据共享接口模块上电性连接有数据备份查询接口模块。

优选的，所述拆分单元模块对输入文件大小进行输入分片，建立关联关系表，并将各个输入文件的各个关系值的对应关系写入关联关系表中。