[发明专利]基于大数据自动化综合管理分析系统、方法、介质及设备

说明书

本发明涉及大数据技术领域，特别涉及一种基于大数据自动化综合管理分析系统、方法、介质及设备，包括数据前期处理模块、数据加密模块、存储模块及数据搜寻模块。本发明将处理完成的数据分成父数据包和子数据包，并通过数据加密模块对父数据包和子数据包赋予有关联性的主密钥和子密钥，子密钥与子密钥之间具有递进式的相连性，并将带有子密钥的子数据包呈分散式保存至存储模块中，在搜索的时候，根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包，可以进一步的提高数据加密的安全性。

技术领域

本发明属于大数据技术领域，特别涉及基于大数据自动化综合管理分析系统、方法、介质及设备。

背景技术

随着信息技术的飞速发展和广泛应用，特别是经济和社会信息化进程的全面加快，网络与信息系统的基础性、全局性作用日益增强，信息安全等级保护已成为国家信息安全保障工作的基本制度、基本策略和基本方法。信息安全等级保护是实施信息安全管理的重要策略。从数据安全角度考虑,在数据产生/采集环节需要实现的技术能力主要是元数据安全管理、数据类型和安全等级打标，相应功能需要内嵌入后台运维管理系统，或与其无缝对接，从而实现安全责任制、数据分级分类管理等管理制度在实际业务流程中的落地实施。

在对大数据综合管理分析后，需要对于数据的加密来提高数据安全性，如公开号为CN110049036B，提出的数据加密方法、装置及数据加密系统，其由加密服务器通过生成公钥和私钥，公钥存储于加密服务器，私钥存放于存储设备和加密设备，存放设备和加密设备之间无法进行相互解密，需要通过加密服务器进行解密和加密，保证数据之间的安全性。但是其只是对数据的整体加密，没有对数据进行分类整理后进行单独加密，使得数据安全性低。

发明内容

针对上述问题，本发明提供了一种基于大数据的自动化综合管理分析系统，包括：数据前期处理模块，所述数据前期处理模块用于对大数据进行处理，获得分析数据库；数据加密模块，所述数据加密模块用于对所述分析数据库进行加密，获得加密数据；存储模块，所述存储模块用于对加密数据进行保存。

其中，所述分析数据库包括父数据包和子数据包，所述数据加密模块对所述父数据包和所述子数据包赋予有关联性的主密钥和子密钥，所述主密钥对应所述父数据包，若干组所述子密钥对应若干组所述子数据包，若干组所述子密钥之间具有递进式的相连性，带有所述子密钥的若干组所述子数据包呈分散式保存至所述存储模块中；及

数据搜寻模块，所述数据搜寻模块用于根据当前输入的正确的子密钥搜索下一个相关的子密钥，并可获得相应的子数据包；反之，在输入错误的子密钥时，则无法获得下一个子数据包。

进一步的，所述数据前期处理模块包括：数据建模，所述数据建模包括根据应用场景建立的数据模型、挖掘数据目标、挖掘数据结果可量度的成功标准，供后期挖掘模型验证使用；源数据分析，所述源数据分析根据数据模型提供针对源数据的探索性分析和数据质量分析功能，并提供相关报告；算法建模，所述算法建模根据应用场景和数据模型的特点，从挖掘模型的各类算法中选择相适应的算法，建立算法模型，并设置对应参数，对相类似的几种算法模型进行模型评估，择优选择；数据装载，所述数据装载从源数据中采集算法模型所需数据，经过清洗加工，装载到算法模型中；模型训练评估，所述模型训练评估根据模型有效性评估的方法库，结合模型噪声处理，根据学习型模型进行自动测算，训练过程中不断参数调整，根据业务模型匹配度，完成模型训练评估；结果发布，所述结果发布把数据挖掘结果发布到数据库或者相关文件中。