[发明专利]利用大数据进行数据收集的防丢失系统

说明书

本发明公开了利用大数据进行数据收集的防丢失系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离。

技术领域

本发明涉及一种数据防丢失系统，具体涉及利用大数据进行数据收集的防丢失系统。

背景技术

随着大数据时代的来临，用户群体的迅速扩张，用户对数据的稳定性、可靠性和安全性的要求越来越高。数据采集处理和存储服务是配电自动化系统的基本功能，也是实现馈线故障自动处理、实时拓扑分析和电网动态着色等高级应用的基础。而在大容量情况下进行压力测试，即短时间内模拟大量遥信和遥测变化，就有可能导致配电自动化系统丢失实时数据，此时要进行计算机节点或通讯链路的切换，切换过程中一般也会丢失实时数据。常见的用于配电自动化系统防止数据丢失的方法是利用数据缓存技术，该技术可在一定程度上缓解计算机节点或通讯链路的切换过程中丢失实时信息的情况，但难点是缓存时间的选择：缓存的时间过长，会对系统性能造成较大的影响，而缓存时间过短又可能导致实时信息丢失。另外，用于数据存储的商用数据库异常，也会造成历史数据丢失。

发明内容

本发明所要解决的技术问题是目前的数据收集时，不能够有效对数据来源进行备份存储，对数据类型分类设置，并且在采集时，可能将异常的危险数据存储至数据库内，影响其他数据的安全，目的在于提供利用大数据进行数据收集的防丢失系统，解决上述的问题。

本发明通过下述技术方案实现：

利用大数据进行数据收集的防丢失系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。目前的数据存储模块内存储的数据往往是采用网络爬虫进行采集，后在数据存储模块内进行分类存储，这样做会使得数据存储模块内有很多杂余碎片数据，这样会使得系统反应慢，不利于数据的存储和调取。而本申请中，采用的技术是将在数据存储模块内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，所述信息过滤模块在进行数据整理时，将数据中的亢余变量进行剔除，通过JavaScript重新对数据进行架构，将数据进行重新排列。这样就会将碎片信息和多余数据抵挡在数据存储模块外，保证数据存储模块的运行速度以及调取速度。所述日志备份模块，能够对进入数据存储模块的数据来源进行存储，仅存储数据来源所需要的存储空间小，并且存储到存储的来源后，方便进行追溯和二级数据的获取，并且将存储的数据来源进行确定后，避免出现未检查到的异常文件影响到数据存储模块后，无法进行追查的情况，因为数据存储模块和日志备份模块是分开的两个结构，彼此之间不会受到数据的影响。而数据溢出警示模块能够帮助工作人员确认数据存储模块的容量，避免出现存储容量溢出后造成的数据遗失。

进一步地，系统内还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。