[发明专利]一种跨域数据交换监管系统及方法

权利要求书

1.一种跨域数据交换监管系统，其特征在于包括：

（一）数据采集模块：提供多种数据采集方式，采集器分布部署于网络中任何位置；

（二）数据预处理模块：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；

（三）数据存储和检索模块：采用异构非关系型数据库方式进行数据存储，自适应任何格式的数据来源；检索采用实时分布式搜索和分析引擎；

（四）大数据计算模块：集成流计算引擎、历史数据计算引擎、数据挖掘引擎；

（五）历史数据计算模块：通过数据挖掘模块计算较长时间段内的安全事件之间的相关性、安全事件之间的影响程度、安全事件之间的规律性；

（六）数据挖掘模块：采用数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律和趋势。

2.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据采集方式包括Syslog、SNMP、WMI、HTTP、HTTPS、TCP、UDP、WebSocket、JDBC。

3.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述数据预处理的具体步骤为：

（1）对于各种网络设备、安全设备和信息系统及各种网络攻击知识体系进行抽象化，运用大数据处理和分析，建立各种算法模型，形成知识库；

（2）不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别、抽取、去噪。

4.根据权利要求3所述的一种跨域数据交换监管系统，其特征在于所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

5.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据存储和检索模块采用分布式搜索和分析引擎，分布式实时文件存储，采用全文索引技术，将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎，可以按需扩展到上百台服务器，处理PB级别的结构化或非结构化数据；同时支持跨域、跨服务器、跨数据源、分布式的信息索引技术，实现索引时间最小化。

6.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的集成流计算引擎、历史数据计算引擎、数据挖掘引擎支持分布式部署、按需扩展，随着数据量的不断增大，可以将分析引擎部署到更多的服务器上，实现分布式并行计算和计算资源按需配备。

7.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据挖掘模块通过对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

8.一种跨域数据交换监管方法，其特征在于包括以下步骤：

S1：采集网络设备、安全设备和信息系统及各种网络攻击知识体系的信息，

S2：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；

S3：采用异构非关系型数据库方式进行数据存储，自适应任何格式的数据来源；检索采用实时分布式搜索和分析引擎；

S4：计算较长时间段内的安全事件之间的相关性、安全事件之间的影响程度、安全事件之间的规律性；采用数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律和趋势。