[发明专利]一种基于大数据处理的网络数据采集系统

说明书

本发明提出的一种基于大数据处理的网络数据采集系统，适用于由多个企业内网组成的局域网，其包括：数据采集模块、数据存储模块、节点提取模块、故障判断模块和故障定位模块；数据采集模块用于采集局域网的运行数据，数据存储模块用于对采集数据进行存储；节点提取模块用于从采集数据中间歇性提取数据作为节点数据；故障判断模块用于根据节点数据监测局域网故障；故障定位模块用于在故障判断模块监测到故障时，根据采集数据对故障进行定位。本发明既保证了局域网故障监控的全面和实时，又降低了运算量，提高了故障定位效率。

技术领域

本发明涉及网络技术领域，尤其涉及一种基于大数据处理的网络数据采集系统。

背景技术

随着网络技术的发展，越来越多的沟通通过网络实现。但是，随着网络越来越发达的同时，网络安全也越来越引起重视。

目前，很多企业都有内部网络。内部网络在保证数据安全的同时，也限制了覆盖范围。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于大数据处理的网络数据采集系统，适用于多个企业内网通过服务器、云端或者其他技术实现内网互联的场景。

本发明提出的一种基于大数据处理的网络数据采集系统，适用于由多个企业内网组成的局域网，其包括：数据采集模块、数据存储模块、节点提取模块、故障判断模块和故障定位模块；

数据采集模块用于采集局域网的运行数据，数据存储模块用于对采集数据进行存储；

节点提取模块用于从采集数据中间歇性提取数据作为节点数据；

故障判断模块用于根据节点数据监测局域网故障；

故障定位模块用于在故障判断模块监测到故障时，根据采集数据对故障进行定位。

优选的，数据采集模块用于分别采集局域网信道数据、各内网路由数据和各并网节点运行数据；

节点提取模块与数据采集模块连接，用于间歇性从数据采集模块中提取局域网信道数据中的一个或者多个通信参数作为通信节点参数；

故障判断模块分别连接节点提取模块和故障定位模块；故障判断模块用于根据各通信节点参数的变化趋势对局域网进行故障检测，并用于在检测到故障时激活故障定位模块；

故障定位模块连接数据采集模块，在激活状态下，故障定位模块对数据采集模块的采集数据进行数据分析，并对局域网故障进行定位。

优选的，故障判断模块和故障定位模块均连接数据采集模块；数据采集模块用于根据故障判断模块的故障判断结果调整局域网信道数据、各内网路由数据和各并网节点运行数据的采集周期；

故障定位模块内部设有故障定位训练模型，故障定位训练模型的输入为局域网信道数据、各内网路由数据和各并网节点运行数据，其输出为故障所处企业内网或者并网节点；

故障定位模块在激活状态下，用于获取数据采集模块的采集数据并输入故障定位训练模型。

优选的，数据采集模块中预设有依次减小的第一采集周期、第二采集周期和第三采集周期；

自然状态下，数据采集模块根据第二采集周期采集局域网信道数据，并根据第一采集周期采集各内网路由数据和各并网节点运行数据；当故障判断模块判断出局域网存在故障，数据采集模块根据第三采集周期采集局域网信道数据、各内网路由数据和各并网节点运行数据。

优选的，第一采集周期大于或等于4min，并小于或等于10min；第二采集周期大于或等于1min，并小于或等于3min；第三采集周期大于或等于3s，并小于或等于30s。

优选的，故障定位模块包括：样本库、机器学习单元和模型定位单元；