[发明专利]基于Python的安全威胁情报获取方法及系统

权利要求书

1.一种基于Python的安全威胁情报获取方法，其特征在于，包括：

将获取的地址信息添加到消息队列；

通过分布式爬虫调度多个协程并发从所述消息队列获取所述地址信息，并基于随机匹配的源地址异步爬取与所述地址信息相对应网页数据；

基于预置的匹配模型对所述网页数据进行匹配操作，以获取安全威胁情报。

2.根据权利要求1所述的方法，其特征在于，所述将获取的地址信息添加到消息队列，包括：

在内存空间中构建消息队列，获取包含所述地址信息的地址列表，将所述地址列表添加到所述消息队列。

3.根据权利要求1所述的方法，其特征在于，所述通过分布式爬虫调度多个协程并发从所述消息队列获取所述地址信息，并基于随机匹配的源地址异步爬取与所述地址信息相对应网页数据，包括：

通过所述分布式爬虫调度多个所述协程并发从所述消息队列获取所述地址信息，并从预置地址池中随机获取源地址；

通过所述协程基于随机获取的源地址，向对应于所述地址信息的目标设备发送用于获取所述网页数据的第一请求，并挂起完成所述第一请求发送操作的协程；

待接收到返回自目标设备的网页数据，唤醒所挂起的协程，并通过所述协程存储所述网页数据。

4.根据权利要求1所述的方法，其特征在于，所述基于预置的匹配模型对所述网页数据进行匹配操作以获取安全威胁情报，包括：

基于预置的正则匹配模型对所述网页数据进行正则匹配操作，以获取所述安全威胁情报。

5.根据权利要求4所述的方法，其特征在于，在基于预置的正则匹配模型对所述网页数据进行正则匹配操作，以获取所述安全威胁情报之前，还包括：

对所述网页数据进行预处理以去除所述网页数据中特定字符。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对获取的所述安全威胁情报进行过滤，以滤除误报的安全威胁情报，并存储过滤后的所述安全威胁情报以供调用。

7.根据权利要求6所述的方法，其特征在于，所述安全威胁情报至少包括域名，所述对获取的所述安全威胁情报进行过滤，以滤除误报的安全威胁情报，包括：

在所述域名与白名单中的信息相匹配的情况下，从所述安全威胁情报中滤除所述域名。

8.根据权利要求6所述的方法，其特征在于，所述安全威胁情报至少包括域名，所述对获取的所述安全威胁情报进行过滤，以滤除误报的安全威胁情报，包括：

在所述域名的注册时间达到第一阈值，且能够获取到与所述域名相对应站点的网页的情况下，从所述安全威胁情报中滤除所述域名。

9.一种基于Python的安全威胁情报获取系统，其特征在于，包括：

调度中心，其配置为用于将获取的地址信息添加到消息队列；

分布式爬虫，其配置为用于调度多个协程并发从所述消息队列获取所述地址信息，并基于随机匹配的源地址异步爬取与所述地址信息相对应网页数据；

解析模块，其配置为基于预置的匹配模型对所述网页数据进行匹配操作，以获取安全威胁情报。

10.根据权利要求9所述的系统，其特征在于，所述分布式爬虫具体配置为用于：

调度多个所述协程并发从所述消息队列获取所述地址信息，并从预置地址池中随机获取源地址；

通过所述协程基于随机获取的源地址，向对应于所述地址信息的目标设备发送用于获取所述网页数据的第一请求，并挂起完成所述第一请求发送操作的协程；

待接收到返回自目标设备的网页数据，唤醒所挂起的协程，并通过所述协程存储所述网页数据。