[发明专利]一种基于大数据的DNS日志分析辅助决策系统及方法在审
| 申请号： | 201910137470.5 | 申请日： | 2019-02-25 |
| 公开（公告）号： | CN110019078A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 陶心万;潘忠瑞;江波;王俊尧;唐佰琳 | 申请（专利权）人： | 贵州格物数据有限公司 |
| 主分类号： | G06F16/18 | 分类号： | G06F16/18;G06F16/182;H04L29/08;H04L29/12 |
| 代理公司： | 北京轻创知识产权代理有限公司 11212 | 代理人： | 陈彩云 |
| 地址： | 550001 贵州省贵阳市*** | 国省代码： | 贵州;52 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 日志数据 预处理 辅助决策系统 标记标签 日志分析 大数据 维度 商业决策 数据支撑 统计数据 运营商 第三方数据 预处理模块 采集模块 操作模块 计算引擎 五元组 加载 匹配 抽取 统计 采集 转换 | ||
1.一种基于大数据的DNS日志分析辅助决策系统，其特征在于：包括以下模块，
DNS日志数据采集模块，其用于采集DNS日志数据；
预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
2.根据权利要求1所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述DNS日志数据采集模块具体用于，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
3.根据权利要求2所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述预处理模块具体用于，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
4.根据权利要求1至3任一项所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
5.一种基于大数据的DNS日志分析辅助决策方法，其特征在于：包括以下步骤，
S1，采集DNS日志数据；
S2，基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
S3，通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
S4，对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
6.根据权利要求5所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述S1具体为，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
7.根据权利要求6所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述S2具体为，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
8.根据权利要求5至7任一项所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于贵州格物数据有限公司，未经贵州格物数据有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910137470.5/1.html，转载请声明来源钻瓜专利网。
