[发明专利]一种基于云计算的大数据处理系统

摘要

本发明涉及大数据处理技术领域，尤其是一种基于云计算的大数据处理系统，终端设备和数据采集模块电性连接，且数据采集模块上电性连接有音频数据模块，数据采集模块上电性连接有视频数据模块，视频数据模块和位置信息模块电性连接，数据预处理模块上还连接有数据解析模块，数据解析模块包括拆分单元模块，拆分单元模块上电性连接有映射单元模块，且映射单元模块上电性连接有输出单元模块，输出单元模块上电性连接有合并存储模块，数据预处理模块上电性连接有分布存储模块，分布存储模块上还电性连接有管理调度模块。本发明通过把海量的大数据按照预先设置的规则分割成了若干部分，可处理大量非结构化的数据，提高了数据处理速度。

主权项

1.一种基于云计算的大数据处理系统，包括终端设备，其特征在于，所述终端设备用于获得需要进行安防地区内的监控视频以及音频信号，所述终端设备和数据采集模块电性连接，所述数据采集模块用于采集物联网节点上的安防监控数据，且所述数据采集模块上电性连接有音频数据模块，所述数据采集模块上电性连接有视频数据模块，所述视频数据模块和位置信息模块电性连接，即可获取监控中的音频数据、视频数据以及位置信息，所述数据采集模块上还电性连接有数据预处理模块，所述数据预处理模块可用于对采集的安防监控数据进行格式转换、剔除坏点、去除线性趋势项、零均值化处理以及数据平滑或拟合，所述数据预处理模块上还连接有数据解析模块，所述数据解析模块包括拆分单元模块，所述拆分单元模块上电性连接有映射单元模块，且所述映射单元模块上电性连接有输出单元模块，所述输出单元模块上电性连接有合并存储模块，所述数据预处理模块上电性连接有分布存储模块，所述分布存储模块是将各种不同的设备虚拟为存储池，提高存储空间的利用率，同时提供存储扩展、存储管理、存储维护以及存储升级空间，所述分布存储模块上还电性连接有管理调度模块，所述管理调度模块还和应用接口模块电性连接。