[发明专利]网站安全检测方法和装置

说明书

本发明提供网站安全检测方法和装置，其中，方法包括：通过网络爬虫触发对网站系统的可扩展超文本传输请求，所述网络爬虫通过模拟目标方式获取所述网站系统的数据，所述目标方式为浏览器通过超文本传输协议HTTP请求获取所述网站系统的数据的方式；截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据，以获取所述可扩展超文本传输请求对应的交互流量数据，所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据；根据所述交互流量数据对所述网站系统进行安全检测。本发明的技术方案，可以获取到异步加载和传输的流量数据，从而实现对网站的全面检测。

技术领域

本发明涉及计算机领域，尤其涉及网站安全检测方法和装置。

背景技术

爬虫技术是指从一个或若干个初始网页的统一定位资源符(uniform resourcelocation，URL)开始，根据一定的网页分析算法过滤与爬取目的无关的资源，保留有用的资源，然后从保留的资源中获取有用的链接，将其放入等待抓取的URL队列，不断从当前页面上抽取新的URL放入队列，并根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复抓取的过程，直到达到设置的停止条件则停止爬取。爬虫技术可以帮助用户自动地获取网页中的资源(如图片、文字、URL等)。

在目前的爬虫技术中，主要是通过传参方法或模拟浏览器的方法爬取网页中的资源，对于采用异步传输和加载(如ajax技术)的动态网页来说，由于网页中的某些内容在不停地刷新，通过传参的方式无法获取到这些动态的内容，由于有些信息最后并不会呈现在网页上，通过模拟浏览器的方法无法获取到这些最终未显示在网页上的内容，通过上述这两种方法抓取的资源不够全面；而在目前对网站的安全检测中，需要对网站中所有的URL都进行检测，而由于目前的爬虫技术无法获取到一些URL，则无法对网站进行全面的检测。

发明内容

本发明实施例提供网站安全检测方法和装置，解决因为无法获取到异步加载的URL而无法对网站进行全面的检测的问题。

第一方面，提供一种网站安全检测方法，包括：

通过网络爬虫触发对网站系统的可扩展超文本传输请求(extensible markuplanguage hyper text transfer protocol request，XMLHttpRequest)，所述网络爬虫通过模拟目标方式获取所述网站系统的数据，所述目标方式为浏览器通过超文本传输协议(hyper text transfer protocol，HTTP)请求获取所述网站系统的数据的方式；

截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据，以获取所述可扩展超文本传输请求对应的交互流量数据，所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据；

根据所述交互流量数据对所述网站系统进行安全检测。

本发明实施例中，网络爬虫以模拟浏览器的方式获取网站系统的数据，通过网络爬虫触发对网站系统的XMLHttpRequest并且截取XMLHttpRequest对应的返回数据可以获取到网站系统的所有网页数据，网络爬虫的XMLHttpRequest对象提供了对超文本传输协议的完全访问，包括向服务器发出post请求、head请求以及get请求的能力，因此，截取XMLHttpRequest可以获取到异步加载和传输的请求，这些请求中携带的数据为未呈现在网页上的数据，根据网页数据和未显示在网页上的数据对网站进行安全检测可以实现对网站的全面检测。

结合第一方面，在一种可能的实现方式中，所述根据所述交互流量数据对所述网站系统进行安全检测包括：从所述交互流量数据中获取URL；