[发明专利]一种基于大数据的预检预修可视化系统

摘要

一种基于大数据的预检预修可视化系统，包括智能数据采集模块、数据清洗预警模块、数据清洗检修模块、高危数据告警模块、数据快速存储模块和GIS数据动态加载模块。通过智能数据采集模块对数据进行智能分类，用以提高对数据文件的清洗效率；通过预警策略，将高危数据进行黑名单标记，并运用PLRU算法对黑名单进行更新迭代,大大改善了系统误报的能力；通过预修策略，将不完整的数据进行修复，大大提升了数据的利用率；通过数据快速存储模块将安全数据快速存储，提高了数据可视化实时加载速率与历史数据加载速率；最后将预检预修的数据流以GIS动态地图的方式加以展示，更有助于管理者更加直接的进行风控调度和系统优化。

主权项

1.一种基于大数据的预检预修可视化系统，其特征在于：所述系统包括智能数据采集模块、数据清洗预警模块、数据清洗检修模块、高危数据告警模块、数据快速存储模块和GIS数据动态加载模块；所述智能数据采集模块，用于采用数据缓存服务器加数据缓存队列的方式对不同数据源进行分类，标记，存储，管理数据的元信息；将采集到的消息送到数据缓存服务器中，结合自身领域的数据特点，考虑到数据文件大小的多样性，根据分布式文件系统中BLOCK的大小设置一个数据文件的临界值T，缓存服务器用于判断此文件的大小，对小于T的数据文件添加数据标识，即KEY，如数据文件的大小大于给定的T时，在数据处理完成后直接发送到分布式文件系统；根据标记分存到对应的数据队列中，直到触发归并阈值TH2；所述数据清洗预警模块，用于解析数据源，依托算法识别非正常的流量及数据并归纳出相应的过滤规则加以滤除及下游使用。所述数据清洗检修模块，用于利用数据清洗检修模块运用数字字典进行数据缺项修正，无效数据剔除；所述高危数据告警模块，用于通过建立黑名单的方式运用PLRU算法动态加载更新黑名单数据，通过建立白名单的方式改善PLRU算法的失误率。所述高危数据告警模块中，采用PLRU算法；所述数据快速存储模块，用于将数据处理模块清洗后的标识数据进行存储，大大改善了由于小文件所引发的对分布式文件系统频繁IO操作所带来的系统瓶颈，采用一致性hash算法，在集群负载均衡中取得良好的效果；所述GIS数据可视化模块，用于将清洗过的合法安全的数据进行动态展示，该模块封装了开源库ECharts，根据数据类型的不同可以选择适合本业务的模块，提供更为精准的空间地理信息，直观，交互丰富，可高度个性化定制并开发完成了前端UI个性化主题定制，并将高危数据信息，检修数据信息展现在前端页面，可以从前端进行更综合信息的分析。