[发明专利]基于大数据的数据安全采集调度系统

说明书

本发明公开了基于大数据的数据安全采集调度系统，源同步模块、调度分析单元、数据调度单元和响应监测单元；所述源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系，并将连接信息传输到调度分析模块；调度分析模块接收源同步模块传输的连接信息，并自动对连接信息进行原点确认分析，得到若干个集散源和对应的集散组；本发明通过源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系；之后调度分析模块自动对连接信息进行原点确认分析，得到若干个集散源和对应的集散组；通过将一个个单独的独立源分为一个个集散组。

技术领域

本发明属于数据安全采集领域，涉及数据安全调度技术，具体是基于大数据的数据安全采集调度系统。

背景技术

公开号为CN111708932A的专利公开了一种云计算平台及其调度、数据分析方法及系统，所述云计算平台及其调度、数据分析系统包括：数据采集模块、数据聚类模块、安全检测模块、数据传输模块、云计算平台、数据调度模块、数据分析模块、云存储模块、显示模块。本发明通过数据采集模块执行网页抓取和/或网站抓取，支持全网数据的抓取，具备极高地通用性，降低了维护和运营成本，提高了抓取有效数据的可靠性。通过安全检测模块对采集得到的数据集进行安全检测，保证了云计算平台的安全性；对云计算中心的数据存储方式和处理方式进行改进，提高了云计算平台中数据存储的可靠性，保证了云节点之间负载均衡，有效的提高了云计算平台的应用处理性能。

在大数据领域，位于一个区域网中的各个独立源，独立源为独立设备或者单元，下称独立源；之间需要进行数据信息的交换来实现很多数据的分析以及运算，但是对应的系统中涉及多个独立源，每个独立源都有自己单独生成的特性数据，以及所有独立源都存在的共性数据，当需要进行部分功能的时候，涉及到数据交换，那如何进行快速的数据交换；同时还能够避免某一独立源被冒用ID和身份发起数据交换，从而导致数据泄露带来的安全问题；基于此，现提供一种解决方案。

发明内容

本发明的目的在于提供基于大数据的数据安全采集调度系统。

本发明的目的可以通过以下技术方案实现：

基于大数据的数据安全采集调度系统，包括源同步模块、调度分析单元、数据调度单元和响应监测单元；

其中，所述源同步模块用于同步所有独立源之间的连接信息，连接信息用于表明各个独立源分别与其他的具体独立源的连接关系，并将连接信息传输到调度分析模块；调度分析模块接收源同步模块传输的连接信息，并自动对连接信息进行原点确认分析，得到若干个集散源和对应的集散组；

所述调度分析单元用于讲集散源和集散组传输到数据调度单元；

所述数据调度单元还用于将集散源传输到响应监测单元；所述响应监测单元用于对集散源周期性发起呼叫，得到回应后自动认定集散源正常，否则产生维修信号。

进一步地，原点确认分析的具体步骤为：

步骤一：获取到所有独立源及其对应的连接信息；

步骤二：之后将所有的独立源标记为Di，i=1...n；

步骤三：根据连接信息，选取集散源。

进一步地，步骤三中的集散源的具体选取方式为：

S1：获取到所有的独立源的一级连值，二级连值；

S2：将独立源Di的一级连值、二级连值分别标记为Yi和Ei，i=1...n；且Yi、Ei与Di为一一对应；

S3：利用公式计算抽值Ci，Ci=0.768*Yi+0.232*Ei；

S4：根据Ci从大到小的顺序对独立源Di进行排列；之后按照排列顺序对独立源Di的i值重新赋予，排列第一个的则赋予为D1，依次进行；

S5：令i=1，之后将其赋予为一个集散源，将所有与其直接连接的独立源标记为一个集散组；

S6：从剩余的独立源中继续选取i值最小的独立源，将其标记为集散源；