[发明专利]一种基于大数据的DNS日志分析辅助决策系统及方法

说明书

本发明涉及一种基于大数据的DNS日志分析辅助决策系统及方法，其系统包括以下模块，DNS日志数据采集模块，其用于采集DNS日志数据；预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。本发明一种基于大数据的DNS日志分析辅助决策系统可以为运营商的商业决策提供数据支撑。

技术领域

本发明涉及大数据处理领域，具体涉及一种基于大数据的DNS日志分析辅助决策系统及方法。

背景技术

DNS作为互联网的第一入口，为Internet上的主机分配域名地址和网络协议地址，任何体系结构的互联网都离不开DNS。因此，基于DNS的相关研究日益受到重视。互联网公司和运营商纷纷针对DNS开展深入研究，目前，基于大数据平台的DNS分析工作成为研究的一个重点方向。那么如何基于大数据的DNS日志分析来为运营商的商业决策提供数据支撑是目前亟待解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于大数据的DNS日志分析辅助决策系统及方法，可以为运营商的商业决策提供数据支撑。

本发明解决上述技术问题的技术方案如下：一种基于大数据的DNS日志分析辅助决策系统，包括以下模块，

DNS日志数据采集模块，其用于采集DNS日志数据；

预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；

标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；

统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。

本发明的有益效果是：本发明一种基于大数据的DNS日志分析辅助决策系统基于海量的运营商DNS日志数据，采用Hadoop，Spark等大数据相关技术，对数据进行抽取、转换和加载；通过对基本的五元组数据与各维度的第三方数据交叉匹配，对数据快速准确的标记标签，最后对标记好标签的数据进行分组，聚合等统计操作，得到各个维度的统计数据，可以为运营商的商业决策提供数据支撑。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述DNS日志数据采集模块具体用于，

实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。

进一步，所述预处理模块具体用于，

将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；

通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；

采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。

进一步，所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。

基于上述一种基于大数据的DNS日志分析辅助决策系统，本发明还提供一种基于大数据的DNS日志分析辅助决策方法。