[发明专利]通过数据收集进行防丢失的大数据系统

摘要

本发明公开了通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离。

主权项

1.通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示，其特征在于，所述信息过滤模块在进行数据整理时，将数据中的亢余变量进行剔除，通过JavaScript重新对数据进行架构，将数据进行重新排列，还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块，还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。