[发明专利]一种获取分析DNS流量数据的方法及其系统

说明书

本发明涉及一种获取分析DNS流量数据的方法及其系统，其解决了现有方法分析web网页性能和服务使用情况的准确度的技术问题，其包括以下步骤：A.获取网页首次加载过程中的DNS流量数据；B.将步骤A中获取的DNS流量数据进行清洗处理，分别进行域名数量统计、DNS解析时间统计和资源记录分类统计；C.根据步骤B中域名数量统计和DNS解析时间统计分析网页性能；D.根据步骤B中资源记录分类统计分析网页资源的服务器地理位置、IP运营商的分布情况和网页使用CDN服务情况。本发明同时提供了其系统。本发明可广泛应用于互联网数据获取与分析领域。

技术领域

本发明涉及生物化工领域，具体地说是一种获取分析DNS流量数据的方法及其系统。

背景技术

随着互联网的迅速发展以及web用户规模的日益壮大，网页的内容愈加丰富多彩，组成网页的元素种类也更加多样，不仅包括可以直接被web用户感知的图像、动画、视频、音频等多媒体资源，还包括用于增加用户浏览体验的网页框架、脚本程序、层叠样式表等代码资源文件。

这些页面元素大都是以单独的文件形式存放于不同的网页资源服务器上的，在网页加载的过程中由浏览器发起请求从存放相应资源的服务器上获得这些资源文件，而获得这些资源文件的前提便是进行域名解析，在这个过程中必然需要DNS的参与，产生大量DNS流量。

目前针对DNS流量的研究方法大都是利用部署在骨干网的测量节点完成，同时缺少以网页加载过程中DNS流量为研究对象来分析web页面性能、页面资源服务器部署分布情况以及网页CDN服务使用情况的方法。

发明内容

本发明就是为了解决现有方法分析web页面性能和服务使用情况的准确度的技术问题，提供了一种便捷、准确性高的获取分析网页首次加载过程中DNS流量数据的方法及其系统。

为此，本发明提供了一种获取分析DNS流量数据的方法，具体包括以下步骤：

A.获取网页首次加载过程中的DNS流量数据；

B.将所述步骤A中获取的DNS流量数据进行处理，分别进行域名数量统计、DNS解析时间统计和资源记录分类统计；

C.根据所述步骤B中域名数量统计和DNS解析时间统计分析网页性能；

D.根据所述步骤B中资源记录分类统计分析网页资源的服务器地理位置、IP运营商的分布情况和网页使用CDN服务情况。

优选地，步骤A中获取网页首次加载过程中的DNS流量数据，包括以下步骤：

a.清除禁止系统和浏览器使用DNS缓存；

b.获取URL作为网页研究对象，取出所述网页URL作为网页探测对象；

c.监听网卡端口，模拟用户打开网页URL行为，捕获网页首次加载过程中流经网卡端口的DNS流量数据；

d.提取所述步骤c中网卡端口捕获的DNS流量数据按照键值对的形式存入非关系型数据库。

优选地，步骤B中DNS流量数据进行处理，包括以下步骤：

(1)将DNS报文分为DNS请求报文和DNS响应报文，确定DNS响应报文的资源记录类型；

(2)获得网页加载过程中请求域名的种类及针对每种域名请求的数量，请求域名总数量，网页加载过程中响应域名的种类及针对每种域名响应的数量，响应域名总数量，网页加载过程中未被成功响应的资源域名及数量，网页加载过程中域名解析率；

(3)获取网页首次加过程中网页中的资源域名进行DNS解析的时间；

(4)将DNS响应报文按照A记录和CNAME记录进行统计。