[发明专利]一种暗网威胁信息获取方法

权利要求书

1.一种暗网威胁信息获取方法，其特征在于，包括以下步骤：

步骤S1：搭建客户端接入暗网，监测暗网交互流量；

其中，制作包含洋葱路由Tor网络、FreeNet网络、ZeroNet网络以及I2P在内的各类节点容器、客户端容器和服务器端容器，并建立暗网封闭环境，进行域名搜集，发现孤立以及未公布节点；

步骤S2：通过暗网中部署中继节点，监测流经中继节点的流量，包括以下步骤：

步骤S2.1：在客户端上建立一个Guard中继节点，将Guard中继节点用作由其自身构建的所有电路进入Tor网络的第一跳入口；通过投放多个中继节点，从而获取更多流量信息；

步骤S2.2：运行中继节点，进行时序分析、协议分析，获取隐蔽网桥节点，获取隐蔽网桥节点信息；

步骤S2.3：每间隔一段时间t，向设定的邮箱地址发送请求隐蔽网桥节点的邮件，并从得到回复的邮件中抽取Tor的隐蔽网桥节点，按照预定格式存储到节点资源数据库中；在固定时间段内，提升资源节点收集数量；

步骤S2.4：扫描使用各类暗网匿名通信协议的服务，通过中继节点尝试重新连接到与中继节点连接的每个客户端上的可能端口；

步骤S2.5：选定一组端口执行Internet范围内的扫描，在每个IP端口对上启动TLS握手，并在握手成功后收集TLS证书；

如果从IP地址收集的证书与Tor证书关联的模式匹配，则将为证书提供服务的IP地址对应于Tor OR或Tor OR的代理，否则，不将其对应于Tor OR或Tor OR的代理；

步骤S2.6：在扫描时，生成一组运行OR或代理的IP地址；部分IP地址与Tor中继节点相对应，并使用与网桥相同类型的证书；使用收集器CollecTor的“网络状态共识”将IP分类为中继节点；任何不与Tor中继节点对应的IP地址，都属于发现的IP地址；

步骤S2.7：通过Tor协议连接到扫描的OR端口上发现的IP地址，下载网桥描述符；描述符成功下载，则表示IP地址已验证；

步骤S2.8：将收集到的描述符的IP地址，与出现在描述符内容中的IP地址进行比较；两个IP地址之间的差异表示已验证的IP地址对应于一个代理，该代理将流量转发到描述符所属的IP地址上运行的描述符所属于的后端OR；如果未发现差异，则验证的IP地址对应于网桥；

步骤S2.9：由于下载的描述符包含网桥未消毒的指纹，首先对其进行哈希处理，获得消毒的指纹；

在收集器CollecTor中搜索经过消毒处理的指纹；如果找到，则描述符属于一个公共网桥，否则它属于一个私有网桥；对于公共网桥，将IP地址映射到特定网桥，从而能够访问收集器CollecTor中的所有历史数据；

步骤S3：利用分布式爬虫，收集暗网隐藏服务器地址，包括以下步骤：

步骤S3.1：通过开源的全文搜索框架Solr，直接搜索Nutch获取的页面信息；为爬取下来的页面维护一个索引，对抓取结果进行复杂条件查询、模糊查询；

步骤S3.2：指定数据源获取信息，使抓取更有针对性及目的性；同时，针对不同暗网网站，生成定制抽取模板，抽取有效信息；

步骤S3.3：动态设置用户代理User-Agent，禁用Cookies，设置延迟下载，使用IP地址池；

最终，形成大规模的分布式暗网爬虫平台，对暗网进行实时爬取更新存储。

2.如权利要求1所述的一种暗网威胁信息获取方法，其特征在于，步骤S1包括以下步骤：

利用SHA1算法对公钥计算并取前10个字符，利用Base32方式进行编码，得到匿名服务域名；

通过I2P客户端地址簿获取域名地址；每个I2P节点在本地保存维护一个hosts.txt，其中包含域名；通过搜集I2P节点地址簿，完成网站域名搜集；

FreeNet通过索引网站直接获取FreeNet键值。