[发明专利]基于分布式数据流的大数据分类系统及其算法

说明书

本发明涉及基于分布式数据流的大数据分类系统及其算法，包括外部设备，外部设备的输出端与数据采集模块的输入端相连接，数据采集模块的输出端与数据库的输入端相连接，数据库的输出端与数据分类模块的输入端相连接，数据分类模块的输出端与数据建模模块的输入端相连接，数据建模模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据发送模块的输入端相连接，数据发送模块的输出端与监控服务器的输入端相连接。本发明可以分别对不同类型的互联网网站进行处理，便于后期的同类型网站进行扩展，能够对互联网上的用户舆论数据做到全面、高效、多样化的提取，为大数据分析提供最基础的数据依据。

技术领域

本发明涉及计算机信息数据处理相关技术领域，尤其涉及一种基于分布式数据流的大数据分类系统及其算法。

背景技术

当前是一个互联网的时代，互联网深入到了人们的日常生活中，日常消费、生活习惯、个人爱好都在互联网中留下了各种痕迹和数据，这样就造成互联网上留下了海量的待发掘的消费数据。随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设己逐步进入了大数据时代，但是现有技术中大多数用户行为分析系统采用关系数据库技术与传统的数据处理方法，不能很好满足海量数据的高效分析。

有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种基于分布式数据流的大数据分类系统及其算法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于分布式数据流的大数据分类系统及其算法。

为实现上述目的，本发明采用如下技术方案：

基于分布式数据流的大数据分类系统，包括外部设备，外部设备的输出端与数据采集模块的输入端相连接，数据采集模块的输出端与数据库的输入端相连接，数据库的输出端与数据分类模块的输入端相连接，数据分类模块的输出端与数据建模模块的输入端相连接，数据建模模块的输出端与数据分析模块的输入端相连接，数据分析模块的输出端与数据发送模块的输入端相连接，数据发送模块的输出端与监控服务器的输入端相连接，监控服务器的输出端与显示终端的输入端相连接。

作为本发明的进一步改进，还包括电源模块，电源模块均与外部设备、数据采集模块、数据库、数据分类模块、数据建模模块、数据分析模块、数据发送模块和监控服务器电性连接。

作为本发明的进一步改进，电源模块为锂电池或者太阳能电池板。

作为本发明的进一步改进，数据库包括若干个数据存储模块。

作为本发明的进一步改进，若干个数据存储模块均为Flash闪存卡。

作为本发明的进一步改进，显示终端为LED显示屏。

基于分布式数据流的大数据分类算法，包括以下步骤：

步骤S1，外部设备中的数据通过给数据采集模块发送至数据库中进行存储；

步骤S2，根据数据的属性将数据库中的各个数据信息通过数据分类模块进行分类处理；

步骤S3，对分类好的数据信息通过数据建模模块搭建适合于数据信息的数据模型；

步骤S4，通过数据分析模块对各个数据信息根据设定的数据结构进行编译处理；

步骤S5，将编译处理好的数据信息通过数据发送模块发送至监控服务器，并通过显示终端进行显示处理。