[发明专利]一种大数据分析方法和系统

说明书

技术领域

本发明涉及大数据处理技术，尤指一种大数据分析方法和系统。

背景技术

近年来，随着计算科学、信息技术以及计算机等的高速发展和迅速应用，相关行业是用的应用系统急速扩展，随之而来产生的数据呈现几何指数增长。这种数据被定义为大数据。大数据已经不能以常规论，无法使用传统和常用的软件技术和工具在特定时间内完成获取、管理和处理的数据集合。传统模式已经无法满足多种类型的海量数据的处理需求。

发明内容

为了解决上述技术问题，本发明提供了一种大数据分析方法和系统。采用并行分布式存储数据，经过对数据结构的深度分析，精确定位、建立模型算法，采用分布式计算对数据进行快速处理，通过结果反作用于厂商。实现了基于分布式架构的大数据采集分析，解决了传统数据处理模式无法满足多种类型的海量数据的处理需求的问题。

为了达到本发明目的，本发明提供了一种大数据分析方法，包括：

多个存储服务器使用分布式架构存储采集得到的数据；

多个分布式计算中心使用分布式计算对采集得到的数据进行分析；

所述多个分布式计算中心将数据分析结果汇总至数据展示中心。

优选的，使多个存储服务器使用分布式架构存储采集得到的数据的步骤包括：

多个存储服务器覆盖全部用户范围，两个存储服务器覆盖的用户范围不完全相同；

每个存储服务器对自己覆盖下的用户范围内的用户数据进行采集存储。

优选的，多个分布式计算中心使用分布式计算对采集得到的数据进行分析的步骤包括：

各个计算中心对各自对应的存储服务器采集得到的数据建立模型；

对建立模型后的数据进行分析。

优选的，每个计算中心至少一个存储服务器，一个存储服务器对应至少一个计算中心。

本发明还提供了一种大数据分析系统，包括分布式存储架构和分布式计算架构，所述分布式存储架构包含多个存储服务器，所述分布式计算架构包含多个计算中心，每个存储服务器与至少一个计算中心存在映射关系，每个计算中心与至少一个存储服务器存在映射关系；

所述分布式存储架构中的存储服务器，用于将存储采集得到的数据；

所述分布式计算架构中的计算中心，用于对采集得到的数据进行分析。

优选的，该系统还包括数据展示中心；

所述分布式计算架构中的计算中心，还用于将数据分析结果汇总至所述数据展示中心。

优选的，两个存储服务器覆盖的用户范围不完全相同；

每个存储服务器对自己覆盖下的用户范围内的用户数据进行采集存储。

优选的，所述计算中心，具体用于对各自存在映射关系的存储服务器采集得到的数据建立模型，对建立模型后的数据进行分析。

本发明的实施例提供了一种大数据分析方法和系统，多个存储服务器使用分布式架构存储采集得到的数据，多个分布式计算中心使用分布式计算对采集得到的数据进行分析，所述多个分布式计算中心将数据分析结果汇总至数据展示中心。实现了基于分布式架构的大数据采集分析，解决了传统数据处理模式无法满足多种类型的海量数据的处理需求的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明的实施例一提供的一种大数据分析系统的架构示意图；

图2为本发明的实施例二提供的一种大数据分析方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。