[发明专利]一种基于大数据安全精确分析与应用的方法

说明书

本发明涉及大数据安全技术领域，具体为一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，该基于大数据安全精确分析与应用的方法，大数据架构的多元兼容平台采用spark计算引擎，兼容性好，效率高，稳定性好，在进行数据问题筛分时通过二级筛分，保证筛分准确性，设备可处理多源异构平台数据，构建可迭代平台，实时更新，减少人工筛分，提高筛分效率和筛分的准确性。

技术领域

本发明涉及大数据安全技术领域，具体为一种基于大数据安全精确分析与应用的方法。

背景技术

众所周知，大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。

在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，不受到信息泄漏和非法篡改的安全威胁影响，已成为政府机构、事业单位信息化健康发展所要考虑的核心问题。

大数据安全的防护技术有：数据资产梳理(敏感数据、数据库等进行梳理)、数据库加密(核心数据存储加密)、数据库安全运维(防运维人员恶意和高危操作)、数据脱敏(敏感数据匿名化)、数据库漏扫(数据安全脆弱性检测)等

现有的大数据安全精确分析在使用中发现，其兼容性差，不具备机器学习，深度学习的功能，依赖人工筛选，人工作量大，工作效率低，导致其使用局限性较高。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于大数据安全精确分析与应用的方法。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，所述数据告警处理模块包括算法组件模块、过滤筛选模块和训练模型模块，所述人机交互模块、大数据构架、数据预处理模块、数据告警处理模块和复审模块依次连接。

为了方便对数据进行预处理，本发明改进有，所述数据接入模块、问题预处理模块和数据整合模块依次连接，所述问题预处理模块包括威胁情报预警、漏洞情报预警和资产情报预警。

为了保证对数据进行算法处理，本发明改进有，所述算法组件模块包括主流算法模块和拓展算法模块。

进一步的，为了方便温蒂的实现深度学习，本发明改进有，所述训练模型模块采用TensorFlow模型。

为了保证其兼容性，高效性和稳定性，本发明改进有，所述计算引擎采用spark计算引擎。

为了保证人机交互的快捷和准确性，本发明改进有，所述人机交互模块包括基础平台模块和功能平台模块，所述基础平台模块包括建模引导模块和建模辅助模块，所述功能平台模块包括模型数据平台、数据资产平台、结果可视化平台、数据资源平台、业务建模平台、案例示范平台、自定义组件平台和系统管理平台。

本发明进一步的提供了一种基于大数据安全精确分析与应用的方法，包括如下步骤：

步骤1、大数据构架通过探针与各个平台的数据接入模块连接，在接入数据的同时对数据进行筛选，对问题数据进行整合并提交至数据告警处理模块；

步骤2、通过采用合适的主流算法对初步筛选的问题数据进行进一步的过滤筛选，当遇到没有合适的算法时，采用拓展算法模块自行构建算法，然后再对初步筛选的问题数据进行进一步的过滤筛选，并构建TensorFlow模型进行深度学习；