[发明专利]一种云计算平台及其调度、数据分析方法及系统

说明书

本发明属于网络技术领域，公开了一种云计算平台及其调度、数据分析方法及系统，所述云计算平台及其调度、数据分析系统包括：数据采集模块、数据聚类模块、安全检测模块、数据传输模块、云计算平台、数据调度模块、数据分析模块、云存储模块、显示模块。本发明通过数据采集模块执行网页抓取和/或网站抓取，支持全网数据的抓取，具备极高地通用性，降低了维护和运营成本，提高了抓取有效数据的可靠性。通过安全检测模块对采集得到的数据集进行安全检测，保证了云计算平台的安全性；对云计算中心的数据存储方式和处理方式进行改进，提高了云计算平台中数据存储的可靠性，保证了云节点之间负载均衡，有效的提高了云计算平台的应用处理性能。

技术领域

本发明属于网络技术领域，尤其涉及一种云计算平台及其调度、数据分析方法及系统。

背景技术

目前，云计算是一种新兴的商业模式，它是分布式计算、并行计算、网格计算、虚拟化、负载均衡等技术融合发展的产物。云计算系统服务的实现主要依靠云数据中心完成，由于云计算技术的发展，对云数据中心的要求越来越复杂。云数据中心主要由数量巨大的服务器和网络设备组成，这些网络设备和服务器的异构性强，用户的需求复杂、要求高质量的服务、要求更合理的动态资源管理，因此对云数据中心提出了更高的要求。但是，现有的云计算平台对数据进行抓取时没有实现分布式化，仅仅基于单机或简单的同构集群，数据读取和解析效率低；同时，现有云计算平台无法处理吞吐量大、处理实时性要求高的数据。因此，亟需一种新的云计算平台。

通过上述分析，现有技术存在的问题及缺陷为：现有的云计算平台对数据进行抓取时没有实现分布式化，仅仅基于单机或简单的同构集群，数据读取和解析效率低；同时，现有云计算平台无法处理吞吐量大、处理实时性要求高的数据。

发明内容

针对现有技术存在的问题，本发明提供了一种云计算平台及其调度、数据分析方法及系统。

本发明是这样实现的，一种云计算平台及其调度、数据分析系统，所述云计算平台及其调度、数据分析方法包括以下步骤：

步骤一，通过数据采集模块利用应用程序界面接口获取数据采集任务，并利用爬虫单元根据任务生成器生成的资源定位符采集对应的网站数据集和/或网页数据集；

步骤二，通过数据聚类模块利用数据聚类程序利用模糊C均值聚类算法将采集的网站数据集和/或网页数据集进行划分、聚类；

步骤三，通过安全检测模块利用安全检测程序对聚类后的网站数据集和/或网页数据集进行接收获取；扫描并识别获取的数据集中的敏感数据，并对数据集进行解析，提取所述数据集的源地址和业务类型标识；

所述数据中的敏感数据扫描识别方法包括：

3.1)扫描所述聚类后的网站数据集和/或网页数据集中的数据；

3.2)通过采用关键字、正则表达式、文件指纹或文件MD5识别所述数据中与预设敏感数据匹配的数据，并作为敏感数据保存；

3.3)识别所述数据中与预设敏感数据不匹配的数据，作为非敏感数据，并对非敏感数据进行销毁标签标识；

步骤四，获取与所述数据集的业务类型标识对应的TCP连接记录；

步骤五，根据所述获取到的TCP连接记录提取与所述源地址对应的TCP连接状态；

步骤六，判断所述TCP连接状态是否为正常，若是，则判定所述数据集为安全数据集；并获取所述TCP连接的源地址和业务类型标识，并将所述源地址添加到源地址白名单中，同时将该源地址的TCP连接状态设置为正常；

步骤七，通过数据传输模块利用数据传输设备将安全数据传输至云计算中心；通过云计算平台利用云计算中心控制所述云计算平台及其调度、数据分析系统各个模块的正常运行；