[发明专利]DNS日志分析方法、DNS日志分析系统及计算机可读存储介质

说明书

本发明提供了一种DNS日志分析方法、DNS日志分析系统及计算机可读存储介质。本发明提供的DNS日志分析方法包括：步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；步骤S3，在匹配域的可用字段中写入标记；步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。上述DNS日志分析方法，通过标记简化了DNS日志的解析计算，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。

技术领域

本发明涉及DNS数据分析领域，具体涉及一种DNS日志分析方法、DNS日志分析系统及计算机可读存储介质。

背景技术

当前DNS数据分析领域中正面临着一个难题，运营商DNS解析日志数据量巨大，每天可达8T以上，解码分析服务器处理能力有限，通常采用智能分流器将DNS解析日志分配到多台采集、解码分析服务器上，为了达到线速地分析DNS解析日志，需要配置大量的日志解构、索引入库、分析服务器，对于运营商来说会需要大量的机房空间及高昂的分析成本。

现有技术中，为解决上述问题，会采用开源日志管理(Logstash)，是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，然后Logstash过滤器解析各个事件，识别已命名的字段以构建结构，将它们转换成通用格式，并将数据标准化到选择的目的地存储起来。

但是，Logstash的问题是它的性能以及资源消耗，其默认的堆大小是1GB，而为了解决性能和资源问题，通常在数据解码后在解构入库前增加一级缓存存储，以匹配两端的速率不一致问题。由此，Logstash及各种过滤器插件对数据的处理会大量地占用服务器资源。

因此，亟待一种技术方案，能够将DNS日志的解构计算从Logstash类似技术中解放出来，简化DNS日志的解析计算，提高DNS日志的解构、入库、索引等的解析效率，同时避免产生大量的服务器资源占用，减少中间缓存和分析设备。

发明内容

针对以上问题，本发明提供了一种DNS日志分析方法，简化了DNS日志的解构、入库、索引等步骤，提高了DNS日志解析效率，同时减少了中间缓存和分析设备。

本发明提供的一种DNS日志分析方法，包括

步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；

步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；

步骤S3，在匹配域的可用字段中写入标记；

步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；

步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。

基于OpenFlow协议，智能分流器能够通过用户定义的流表项来匹配和处理数据包，将数据包发往后续处理器中，这些步骤是智能分流器本身工作的步骤。而上述步骤中，智能分流器基于OpenFlow协议定义了一个新的匹配域，可以根据包含自定义匹配域的流表项对数据包进行处理；同时在匹配域的可用字段中写入标记，使得解码分析服务器根据匹配域中的标记即可进行DNS日志解构、索引入库、分析等动作，无需进行大量的DNS日志解析计算工作。即在现有技术中，智能分流器和解码分析服务器分别都需要对数据包进行大量的解析计算，本发明提供的DNS日志分析方法，只需在智能分流器中进行解析计算，并给数据包打上标记，后续的解码分析服务器只需要根据标记进行DNS日志解构、索引入库、分析，将两次大量的数据计算分析过程，简化为一次在智能分流器中数据计算分析，大大简化了DNS日志的解析计算，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。