[发明专利]数据分布式接收及分析方法及系统

说明书

技术领域

本发明涉及一种数据接收及分析方法，尤其是一种数据分布式接收及分析方法及系统。

背景技术

随着计算机的出现和普及，海量的信息以数字化形式存在于网络各处，科学数据、医疗数据、人口统计数据、金融数据等等，这些数据也吸引了大量的网络攻击。并且随着网络攻击越来越多，越来越复杂，相关的安全事件数据种类繁多，数据结构也是及其复杂的。

目前，对于数据的接收通常都是拷贝到一个系统，再对数据进行分析，没有利用大数据存储的便利，如果日志服务器很多，将会增加很多工作量，也会花费很多时间。

发明内容

针对现有技术中的缺陷，本发明目的在于提供了一种减少工作量提高工作效率的数据分布式接收及分析方法及系统。

为解决上述技术问题，本发明数据分布式接收及分析方法，包括：步骤1，分布式收集数据；步骤2，下载收集的数据，并对下载的数据进行分布式分析；步骤3，储存经过分布式分析的数据。

优选地，步骤1包括如下步骤：步骤1.1，分布式收集数据以形成日志文件；步骤1.2，将日志文件上传。

优选地，步骤1.1中，通过开源软件RTKLIB分布式收集数据以形成日志文件。

优选地，步骤2包括如下步骤：步骤2.1，定时查询上传的日志文件，当查询到与预设条件相吻合的日志文件时，下载该日志文件；步骤2.2，对下载的日志文件进行分布式处理。

优选地，步骤2.1中，预设条件包括时间和类型。

优选地，步骤2.2中，分布式处理包括对时间、固定率或精度进行解算。

优选地，日志文件包括时间、状态、经纬度、高度及精度。

优选地，还包括步骤4，显示经过分布式分析的数据。

数据系统，包括：云存储服务模块，云存储服务模块从多个日志服务器中分布式收集数据；分布式分析模块，分布式分析模块从云存储服务模块中下载数据，并对下载的数据进行分布式分析；存储模块，存储模块接收从分布式分析模块上传的经过分布式分析的数据；显示模块，显示模块显示经过分布式分析的数据。

优选地，云存储服务模块为运营支撑系统；存储模块为云数据库。

本发明数据分布式接收及分析方法及系统提供多点收集数据并上传到云存储，收集数据的端可以海量部署，这样提高了数据的存储与分析速度，对于相对复杂的数据的存储与分析变得简单、容易，并且存储与分析可以根据需要各自进行线性扩展与改进，使得分析系统性能达到最优。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征目的和优点将会变得更明显。

图1为本发明数据分布式接收及分析方法流程图；

图2为本发明数据系统原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供多点收集数据并上传到云存储，收集数据的端可以海量部署，分析数据时，从云存储下载数据并进行分析，分析汇总的数据存储到分布式数据存储系统。

如图1、图2所示，本发明数据分布式接收及分析方法，包括：步骤1，分布式收集数据；步骤2，下载收集的数据，并对下载的数据进行分布式分析；步骤3，储存经过分布式分析的数据。

步骤1包括如下步骤：步骤1.1，分布式收集数据并将收集的数据汇总形成日志文件；步骤1.2，将日志文件上传。

步骤1.1中，通过开源软件RTKLIB分布式收集数据并将收集的数据汇总形成日志文件。

步骤2包括如下步骤：步骤2.1，定时查询上传的日志文件，当查询到与预设条件相吻合的日志文件时，下载该日志文件；步骤2.2，对下载的日志文件进行分布式处理。

步骤2.1中，预设条件包括时间和类型。

步骤2.2中，分布式处理包括对时间、固定率或精度进行解算。

日志文件包括时间、状态、经纬度、高度及精度。

还包括步骤4，显示经过分布式分析的数据。

数据系统，包括：云存储服务模块，云存储服务模块从多个日志服务器中分布式收集数据；分布式分析模块，分布式分析模块从云存储服务模块中下载数据，并对下载的数据进行分布式分析；存储模块，存储模块接收从分布式分析模块上传的经过分布式分析的数据；显示模块，显示模块显示经过分布式分析的数据。