[发明专利]一种构建服务属性数据库的方法及装置在审
申请号: | 201911043563.8 | 申请日: | 2019-10-30 |
公开(公告)号: | CN110795434A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 张沛;黄小红;李丹丹;谢坤;刘志豪 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;H04L29/08;H04L29/12 |
代理公司: | 11413 北京柏杉松知识产权代理事务所(普通合伙) | 代理人: | 丁芸;马敬 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 服务属性 目标页 数据库 构建 网站 网页 安全性分析 目标页面 行业属性 整个网络 客户端 映射表 存储 关联 修复 开发 监控 维护 | ||
1.一种构建服务属性数据库的方法,其特征在于,所述方法包括:
获取待探测域名列表,所述待探测域名列表包括多个待探测网站的主域名;
爬取所述待探测域名列表中各个主域名对应的页面及所述各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息,并将所述主域名对应的页面以及主域名下的子域名对应的页面作为目标页面,所述http响应是向网络服务器发送http请求,网络服务器对所述http请求处理后返回的响应;
获取所述主域名以及所述主域名下的各子域名的A记录,其中,所述A记录通过解析服务器根据预设的源IP地址列表,解析所述主域名及所述主域名下子域名得到,所述A记录中包括所述主域名对应的IP地址,以及所述主域名下的各子域名对应的IP地址;
针对所述待探测网站中的每个网站,将该网站的目标页面进行分类,确定该网站的行业属性以及该网站的目标页面的服务属性;
当所述头部信息包含预设字段时,解析所述头部信息获得所述目标页面的提供者的IP地址;
当所述目标页面的提供者的IP地址是非私网IP地址时,将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储;
将所述目标页面的域名,目标页面域名对应的IP地址,所述目标页面的服务属性,所述目标页面所在网站的行业属性,所述目标页面的内容进行一一对应形成映射表,并将所述映射表存储至预设的数据库中,得到所述服务属性数据库。
2.根据权利要求1所述的方法,其特征在于,在所述将所述目标页面的域名,所述目标页面域名对应的IP地址,所述目标页面的服务属性,所述目标页面所在网站的行业属性,所述目标页面的内容进行一一对应形成映射表,并将所述映射表存储至预设的数据库中,获得服务属性数据库的步骤之后,所述方法还包括:
接收查询指令,并根据所述查询指令中携带的目标页面域名对应的IP地址,在所述服务属性数据库中查询与所述目标页面相关的数据,所述与所述目标页面相关的数据包括:所述目标页面的服务属性,所述目标页面所在网站的行业属性,以及所述目标页面的内容。
3.根据权利要求1所述的方法,其特征在于,所述A记录通过以下步骤获得:
模拟不同地区及不同运营商的IP地址,设置IP地址列表作为预设的源IP地址列表;
针对所述预设的源IP地址列表的一个IP地址,将该IP地址作为目标IP地址,并将所述目标页面的域名作为待解析域名,向解析服务器发送解析请求,所述解析请求包括:目标IP地址及所述待解析域名;
获取解析服务器接收解析请求后,根据解析请求中的目标IP地址,对待解析域名进行解析后,得到的A记录。
4.根据权利要求1所述的方法,其特征在于,在所述将所述目标页面的域名,所述目标页面域名对应的IP地址,所述目标页面的服务属性,所述目标页面所在网站的行业属性,所述目标页面的内容进行一一对应形成映射表,并将所述映射表存储至预设的数据库中,获得服务属性数据库的步骤之后,所述方法还包括:
获取隐匿IP地址的服务列表,所述隐匿IP地址是与A记录中IP地址不同的IP地址;
将所述隐匿IP地址的服务列表存储至所述服务属性数据库中。
5.根据权利要求4所述的方法,其特征在于,所述获取隐匿IP地址的服务列表的步骤包括:
根据预设的长度以及所述A记录中的IP地址的网段,获取所述地址集,所述地址集中IP地址个数与所述预设的长度成倍数关系;
针对所述地址集中的一个IP地址,当该IP地址与所述A记录中的IP地址不相同时,该IP地址作为隐匿IP地址存储至列表中,将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。
6.根据权利要求1所述的方法,其特征在于,在所述将所述目标页面的域名,所述目标页面域名对应的IP地址,所述目标页面的服务属性,所述目标页面所在网站的行业属性,所述目标页面的内容进行一一对应形成映射表,并将所述映射表存储至预设的数据库中,得到所述服务属性数据库的步骤之后,所述方法还包括:
从所述头部信息中提取网络服务器的信息,并将网络服务器的信息与所述目标页面的域名对应存储入至所述映射表中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911043563.8/1.html,转载请声明来源钻瓜专利网。