[发明专利]一种分布式部署的系统和方法

说明书

本发明提供了一种分布式部署的系统和方法，包括一台主机服务器和至少一台从机服务器，主机服务器与从机服务器包括：数据采集模块实时监听侦测并持续采集当前服务器的数据链路中的数据包信息；数据处理模块将采集到的数据包信息解析成交易原始记录，计算出交易关联字段，根据交易关联字段派发交易记录，关联派发的交易记录为交易关联记录，合成交易关联记录得到交易数据并将交易数据存储到当前服务器的文件存储模块中，聚合交易数据，将聚合后的交易数据存储至当前服务器的数据库；主机服务器的数据展现模块读取所需的数据库、文件存储中的数据并呈现。实现了不同物理位置、异地跨区域跨网段的流量采集。

技术领域

本发明涉及互联网数据监控领域，具体地，涉及一种分布式部署的系统和方法。

背景技术

在现如今的银行、券商、网络运营商中，大都使用网络数据监控系统作为日常分析与风险把控的重要手段。而网络数据监控系统很重要的一部分为环境部署和数据采集。随着科技和业务量的增长，要处理的网络互联数据也随之爆炸式增长，为采集监控这些数据，上述行业的数据中心已经逐渐发展成两地三中心甚至更多，每个数据中心内部又有多个机房，这些内部的服务器同时还跨区域跨网段，传统的集中式部署已经难以满足需求，面临着诸如采集点部署困难，单点服务器压力过大或故障导致集群不可用的问题。

同时，繁琐的多中心架构搭建往往浪费不少人力物力，容易出现错误操作导致部署失败，而且即使部署完成，增删服务器或更改系统架构同样面临不少的挑战。

经过检索发现：

公开号为CN105404528A的专利文献公开了一种分布式自动化部署系统，所采用的方案需要额外的自动部署服务器，且要经过管理端、部署服务器、客户端三者之间的多次交互操作，增加了部署时间与发生问题的概率；

公开号为CN106375419A的专利文献公开了一种分布式集群的部署方法和装置，其动态部署只能通过判断节点个数使用占比是否超过设置阈值来增删节点，不能满足复杂的网络场景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种分布式部署的系统和方法，以解决不同物理位置、异地跨区域跨网段的流量采集问题。

根据本发明提供的一种分布式部署的方法，包括：

数据采集步骤：实时监听侦测并持续采集当前服务器的数据链路中的数据包信息；

数据处理步骤：将采集到的数据包信息解析成交易原始记录，计算出交易关联字段，根据交易关联字段派发交易记录，关联派发的交易记录为交易关联记录，合成交易关联记录得到交易数据并将交易数据存储到当前服务器的文件存储模块中，聚合交易数据，将聚合后的交易数据存储至当前服务器的数据库；

数据展现步骤：主机服务器读取所需的数据库、文件存储模块中的数据并呈现。

优选的，文件存储模块中存储的所述交易数据包括数据包、交易原始记录以及交易关联记录。

优选的，文件存储模块中存储的所述交易数据根据来源和时间分多级目录。

优选的，数据库中存储的聚合后的交易数据根据路径图和月份分库、根据捕获点分表以及根据聚合程度分表，聚合程度包括捕获点、服务器IP、站点以及维度。

优选的，数据展现步骤包括：

交易记录呈现步骤：通过所述交易关联字段并结合文件存储中的数据，呈现交易记录信息；

指标信息呈现步骤：通过自定义的时间、服务器、站点以及维度查询数据库，呈现各个维度组合下的指标信息。

根据本发明提供的一种分布式部署的系统，包括一台主机服务器以及至少一台从机服务器，所述主机服务器与所述从机服务器均包括：