[发明专利]基于scrapy的分布式暗网资源挖掘系统及方法

摘要

本发明涉及数据挖掘领域，公开了一种基于scrapy的分布式暗网资源挖掘系统及方法，用以提升暗网资源挖掘的效率、广度以及灵活性。本发明包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；暗网在人为提供和通过明网爬取得暗网域名的基础上再通过暗网爬取模块和明网爬取模块从暗网页面和明网网页中爬取更多的暗网域名，从而实现对暗网域名的大量获取以及对暗网网页页面的存储。本发明适用于暗网资源挖掘。

主权项

1.基于scrapy的分布式暗网资源挖掘系统，其特征在于，包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；所述爬虫种子任务队列用于存储用户提供的待爬取种子任务，以及从节点爬取模块提取的新的待爬取的种子任务；所述任务预处理模块用于对爬虫种子任务队列中的任务进行匹配以及去重过滤，并将属于暗网的任务存入暗网任务队列，属于明网的任务存入明网任务队列；所述暗网爬取模块中的暗网爬虫用于从暗网任务队列中读取暗网爬取任务，基于暗网爬取任务下载对应的暗网网页，并从暗网网页中提取新的暗网域名，将提取到的新的暗网域名存入爬虫种子任务队列；所述明网爬取模块中的明网爬虫用于从明网任务队列中读取明网爬取任务，基于明网爬取任务下载对应的明网网页，并从明网网页中提取新的明网域名和暗网域名，将提取到的新的明网域名和暗网域名存入爬虫种子任务队列；所述爬虫管理器用于根据中心节点控制模块发送的请求信息，对爬虫进程进行管理。