[发明专利]一种实时计算大数据系统和方法

说明书

本发明属于大数据计算技术领域，公开了一种实时计算大数据系统和方法，所述实时计算大数据系统包括：数据采集模块、数据解析模块、主控模块、分配模块、并行处理模块、合并模块、日志处理模块、数据存储模块、显示模块。本发明通过数据解析模块可以快速地实现业务逻辑的开发及替换；同时，通过日志处理模块运用大数据存储和计算实现将日志数据进行时间序列化，形成数据流，并且整个服务器集群的数据采集和数据流都用相同的时间序列；整个集群采用相同的时间序列，实现集群数量庞大的服务器，可以通过时间序列进行时间维度的数据快速汇聚，快速访问某个时间的服务器性能，并通过大数据分析集群的实时数据流。

技术领域

本发明属于大数据计算技术领域，尤其涉及一种实时计算大数据系统和方法。

背景技术

大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。然而，现有大数据流计算的业务逻辑开发比较复杂，无法像传统的数据处理应用Query进行业务逻辑开发，如果遇到复杂的多次迭代的业务逻辑开发起来就更加吃力；同时，现有的服务器运维日志数据分析监控的方法无法实现数据实时采集形成数据流，分析只能对静态一段时间的运维日志进行分析，这就导致无法及时有效的对当前的服务器性能进行有效的监控和分析，特别是大规模集群服务器的数量多的时候，数据的分析更是无法实现展开。

综上所述，现有技术存在的问题是：现有大数据流计算的业务逻辑开发比较复杂，无法像传统的数据处理应用Query进行业务逻辑开发，如果遇到复杂的多次迭代的业务逻辑开发起来就更加吃力；同时，现有的服务器运维日志数据分析监控的方法无法实现数据实时采集形成数据流，分析只能对静态一段时间的运维日志进行分析，这就导致无法及时有效的对当前的服务器性能进行有效的监控和分析，特别是大规模集群服务器的数量多的时候，数据的分析更是无法实现展开。现有的并行算法不能充分的利用并行系统计算资源，算法数据并行化效果不理想，无法保证算法的收敛速度和算法最优分类的特性，导致并行效率降低。

发明内容

针对现有技术存在的问题，本发明提供了一种实时计算大数据系统和方法。

本发明是这样实现的，一种实时计算大数据方法，所述实时计算大数据方法包括：

步骤一，网络采集客户数据资源，解析算法对大数据的实时流数据进行结构化解析；

步骤二，数据分配程序将采集的数据资源分配进行并行处理；

步骤三，利用多粒度并行算法处理采集的数据，生成并行结果；通过合并算法将并行结果进行合并，生成处理结果；

步骤四，日志处理软件对将日志数据进行时间序列化，形成数据流进行处理；

步骤五，将采集的数据资源进行存储，并通过显示器显示采集的数据信息。