[发明专利]一种基于大数据的信息采集方法

说明书

本发明属于信息采集技术领域，公开了一种基于大数据的信息采集方法，所述基于大数据的信息采集系统包括：数据源模块、数据传输模块、中央控制模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块。本发明通过大数据分析模块得到分析结果存储在分布式数据库的分析结果表中，不需要到分布式数据库中海量的大数据中获取大数据，所以耗时短且易于实现；同时，通过平衡模块根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽，重新启动数据平衡程序，能够在保障集群正常数据生产的同时，提高集群数据平衡的效率和弹性。

技术领域

本发明属于信息采集技术领域，尤其涉及一种基于大数据的信息采集方法。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。然而，现有大数据分析耗费时间；同时，在实际集群数据平衡处理中，如果使用默认值或更小网络带宽进行集群数据平衡，则需要较长的时间才能达到数据平衡；可用于集群数据处理任务的网络带宽变小，导致数据处理任务用时延长，进而影响企业的正常数据生产。

综上所述，现有技术存在的问题是：现有大数据分析耗费时间；同时，在实际集群数据平衡处理中，如果使用默认值或更小网络带宽进行集群数据平衡，则需要较长的时间才能达到数据平衡；可用于集群数据处理任务的网络带宽变小，导致数据处理任务用时延长，进而影响企业的正常数据生产。现有的大数据在进行传输、处理时因数据的多样化导致数据处理、传输效率慢，还有可能在过程中导致数据的损坏或丢失。

发明内容

针对现有技术存在的问题，本发明提供了一种基于大数据的信息采集方法。

本发明是这样实现的，一种基于大数据的信息采集系统包括：

数据源模块、数据传输模块、中央控制模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块；

数据源模块，与数据传输模块连接，用于通过大数量终端设备获取数据源；

数据传输模块，与数据源模块、中央控制模块连接，用于通过网线或无线发射器将获取的数据源发送到中央控制模块；

中央控制模块，与数据传输模块、检索模块、信息集成模块、信息管理模块、大数据分析模块、平衡模块、云存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

检索模块，与中央控制模块连接，用于通过检索程序对数据源有价值的信息进行检索；

信息集成模块，与中央控制模块连接，用于通过集成软件对检索的信息进集成处理；