[发明专利]第三方WEB应用程序发现的方法和装置

说明书

技术领域

本发明涉及计算机网络安全技术领域，尤其涉及一种第三方WEB应用程序发现的方法和装置。

背景技术

随着互联网的普及与发展，越来越多的中、小型企业甚至政府、金融机构等使用了很多第三方WEB应用程序，因为第三方WEB应用程序可以开支，以及提供了他们没有的专业技术等。WEB应用程序，即一种应用程序，但其基于WEB，以浏览器／服务器架构（Browser/Server，简称B/S），如论坛、内容管理系统、留言板等都属于WEB应用程序。

在风险评估中，脆弱性扫描和渗透性测试等都会有信息收集环节。但这些信息收集环节都没有涉及第三方WEB应用程序的发现。

发明内容

针对以上不足，本发明要解决的技术问题是提供一种第三方WEB应用程序发现的方法和装置，该方法和装置解决了在WEB应用弱点扫描中没涉及到第三方WEB应用程序的发现的问题。

为了解决上述技术问题，本发明提供一种第三方WEB应用程序发现的方法，包括： 

判断待检测URL对应的HTML页面是否存在，如果是，则下载待检测URL对应的HTML页面；

以HTML标签作为DOM树结构的索引，将HTML页面解析为DOM树结构；

提取指定HTML标签中的子URL，如果子URL中的目的网站子URL的数量达到预设的阈值，则将目的网站子URL的文件默认路径特征与第三方WEB应用程序特征数据库中的特征进行匹配；并且，提取DOM树结构中的信息特征，将信息特征与第三方WEB应用程序特征数据库中的特征进行匹配；

如果在第三方WEB应用程序模型数据库中查找到所有匹配成功的特征，则确定待检测URL对应的HTML页面中包含第三方WEB应用程序。

进一步的，判断待检测URL对应的HTML页面是否存在包括：通过判断HTTP响应消息判断待检测URL对应的HTML页面是否存在；

下载待检测URL的HTML页面信息包括：按照HTTP请求方法下载待检测URL的HTML页面信息。

进一步的，判断待检测URL对应的HTML页面存在之后还包括：判断待检测URL的来源属性。

进一步的，判断待检测URL的来源属性包括：如果待检测URL的来源属性不是目的网站子URL、需判断HASH值的URL、文件默认路径URL中的其中一种，则确定待检测URL的来源属性为用户提交的根URL。

进一步的，提取指定HTML标签中的子URL之后，还包括：

判断子URL的域名；

如果子URL包含待检测URL对应的完整域名，则确定子URL为目的网站子URL，标记来源属性为目的网站子URL；

如果子URL包含待检测URL对应的父域名而不包含待检测URL对应的完整域名，则确定子URL为目的网站子域名URL；

如果子URL既不包含待检测URL对应的完整域名，又不包含待检测URL对应的父域名，则确定子URL为第三方URL。

进一步的，如果子URL中的目的网站子URL的数量没有达到预设的阈值，则将目的网站子URL作为待检测URL进行检测。

进一步的，将目的网站子URL的文件默认路径特征与第三方WEB应用程序特征数据库中的特征进行匹配包括：

对所有目的网站子URL去掉待检测URL对应的完整域名，截取文件默认路径特征，与第三方WEB应用程序特征数据库中的文件默认路径特征进行匹配，记录匹配成功的文件默认路径特征；

将第三方WEB应用程序特征数据库中没有匹配成功的文件默认路径特征与待检测URL对应的完整域名组合成为新的URL，来源属性标记为文件默认路径URL，将新的URL作为待检测URL进行检测。

进一步的，如果确定子URL为第三方URL，则判断第三方URL是否有跳转行为，如果有，则判定待检测URL对应的HTML页面中包含第三方WEB应用程序。

进一步的，提取DOM树结构中的信息特征，将信息特征与第三方WEB应用程序特征数据库中的特征进行匹配包括：

如果在第三方WEB应用程序特征数据库中没有信息特征对应的文件HASH值匹配属性，则记录该信息特征为匹配成功的特征；

如果在第三方WEB应用程序特征数据库中有信息特征对应的文件HASH值匹配属性，则将该信息特征与待检测URL组合为新的待检测URL进行检测，来源属性标记为需判断HASH值的URL。