[发明专利]一种基于大数据的预检预修可视化系统

说明书

一种基于大数据的预检预修可视化系统，包括智能数据采集模块、数据清洗预警模块、数据清洗检修模块、高危数据告警模块、数据快速存储模块和GIS数据动态加载模块。通过智能数据采集模块对数据进行智能分类，用以提高对数据文件的清洗效率；通过预警策略，将高危数据进行黑名单标记，并运用PLRU算法对黑名单进行更新迭代,大大改善了系统误报的能力；通过预修策略，将不完整的数据进行修复，大大提升了数据的利用率；通过数据快速存储模块将安全数据快速存储，提高了数据可视化实时加载速率与历史数据加载速率；最后将预检预修的数据流以GIS动态地图的方式加以展示，更有助于管理者更加直接的进行风控调度和系统优化。

技术领域

本发明涉及数据处理、数据存储领域，尤其是一种基于大数据预检预修的可视化系统。

背景技术

随着高新技术的发展，大数据已成为各国发展的重要工具，推动大数据的发展和应用，在未来打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、欣欣繁荣的产业发展新生态。

伴随着DT时代的到来，人们比以往任何时候更能收集到丰富的数据，IDC的报告显示：预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)，这一数据量是2011年的22倍！正在呈“爆炸式”增长的数据如何基于高价值的信息来决策、分析、预测、战略发展成为新的研究热点。

从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据的价值，达到赋能于商业和创造价值的目的。面对海量的数据和复杂的计算，数据计算层包括两大体系：数据存储和计算平台；而数据挖掘技术与数据仓储及计算技术的发展是相辅相成的，没有数据基础设施的发展与分布式并行计算的技术，就不会有深度学习，更不会见证AlphaGo的神奇，云计算平台的发展，使得海量、高速、多变化、多终端的结构与非结构化数据得以存储并高效地计算，如在电商领域的面向海量会员和商品的全局画像，寄语自然人的全域ID-Mapping、广告精准投放平台、千人千面的个性化搜索与推荐技术、非人流量与恶意设备的识别、商业竞争情报的自动化挖掘系统已深入到企业发展的各个环节，“无数据不智能，无智能不商业”，大数据与机器学习融合后的新商业革命已然到来。

数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提，如何保证数据质量，确保数据的可用性是数据仓库建设不容忽视的环节，数据已经成为重要的生产要素，让数据应用的价值最大化，如搜索、推荐、广告、金融、信用、保险、文娱、物流等业务。将数据提供给商家，可以用于指导商家的数据化运营，为商家提供多样化、普惠性的数据赋能；可以用于实现更好的搜索体验，更精准的个性化推荐，优化购物体验，更精准的进行广告投放，更惠普的金融服务；将数据提供给员工，可以用于数据化运营和决策；

现在通用的大数据处理平台缺少对于数据源接入的预清洗策略，尤其是使得大量缺失，无效，高危以及重复的缺失，无效，高危的数据进入数据分析，严重影响数据分析的结果，以及预测和回归模型的准确性。

而分布式文件系统凭借其高容错性、可伸缩和廉价存储的优点支持大规模数据集的存储，但是对于海量、高并发、连续、高速的小数据文件的接收和存储效率不高，在每次进行插入、查找、删除、更新操作时都会和分布式文件系统做大量的IO交换，大大降低了分布式文件系统的新能。

而且当前数据可视化解决方案主要是采用一些商用解决方案，在满足客户多需求的同时由于其自身的解决方案固定式以及数据高度模型化无法提供更为个性化服务，而定制化成本过高，并不能有效的匹配每一项具体的业务，而根据自身的业务特点开发解决方案，则由于开发周期过长以及成本过高显得触不可及。

当前的大数据可视化应用往往展示处理分析后的结果，缺少必要的预警提示及告警指示，往往需要决策人员凭借行业经验进行优化，而人员决策又存在人员流动，不可持续性工作的问题亟待解决。

发明内容