[发明专利]一种基于机器学习的暗网威胁预测系统

说明书

本发明公开了一种基于机器学习的暗网威胁预测系统，涉及计算机网络安全领域，包括数据爬取模块、数据存储与展示模块、数据分类模块和漏洞预测模块，其中，数据爬取模块实现对暗网数据的高并发爬取与监控；数据存储与展示模块实现数据的存储和全文搜索，并在web页面展示数据总体分布和分类情况，包括数据存储单元、数据搜索单元、数据展示单元；数据分类模块使用无监督的方法自动寻找最佳参数并提取特征，实现数据的分类并记录分类结果；漏洞预测模块使用漏洞数据筛选算法，筛选出包含漏洞相关信息的数据进行建模，得到被利用的漏洞ID及相关信息。本发明可以及时发现漏洞利用情报，提醒厂商做出相对应的防护措施。

技术领域

本发明涉及计算机网络安全领域，尤其涉及一种基于机器学习的暗网威胁预测系统。

背景技术

随着计算机技术的发展，人们已经可以通过互联网完成消息收发、语音通话、在线购物等一系列日常行为，当今互联网已经逐渐成为人们日常生活中不可或缺的一部分。虽然互联网似乎将全球的用户连接在一起使其可以随心所欲地交流，但我们日常访问的其实只是冰山一角，互联网也存在一定的架构以及不同的组成部分。

互联网中最常见的组成部分被称为表网(Surface Web)。人们日常访问的新闻网页、购物网站等都属于表网。这些网页的特点在于它们能被主流搜索引擎发现收录并索引。搜索引擎自动地访问它所发现的网页并将这些网页存储在数据库中，当用户开展搜索行为时，搜索引擎会根据特定的算法返回用户与关键字最相关的网页地址。考虑到搜索引擎在人们日常生活中的普遍性，表网往往是人们最常接触到的网站。

与表网相对应的，被称为深网(Deep Web)，是指不会被主流搜索引擎收录索引的网页的集合。搜索引擎不进行收录索引的最常见的原因有网页配置错误、网页信息需要用户登陆信息、网页禁止自动爬虫的访问等。当人们使用诸如社交网络、电子邮箱等需要登陆的网站时，也会频繁地接触到深网的内容。在大多情况下，深网的内容可以直接通过常规浏览器以及URL进行直接访问，当然同时也存在需要特殊配置才能访问的网页内容，比如本文主要研究的暗网。

暗网(Dark Net)是深网的一部分，其内容被设计为故意隐藏的形式，仅使用标准浏览器无法直接访问这些服务和页面，需要通过特定的浏览器、特殊授权或者特殊设置才能进行访问。

开启暗网大门的常用钥匙是名为Tor的匿名代理工具。“洋葱路由器”(Tor)通过模糊流量分析作为网络监视的一种形式来保护用户的隐私。Tor中的网络流量由许多志愿者的服务器(也称为“节点”)引导。网络的每个节点都加密它盲目传递的信息，既不记录流量的来源，也不记录流量的流向，不允许任何跟踪。这不仅允许匿名浏览(透露的IP地址只会是最后一个节点的地址)，还可以规避审查。

暗网上存在着大量威胁信息，比如零日漏洞。各大厂商会定期披露最新发的系统漏洞，并给出漏洞修复的优先级，这些漏洞统称为零日漏洞。而暗网上则存在着许多和低优先级漏洞的讨论，甚至是贩卖漏洞利用软件。这些信息就很有可能被利用并引发严重的现实危害。

因此，本领域的技术人员致力于开发一种基于机器学习的暗网威胁预测系统，通过各类数据挖掘手段和分类模型及时发现漏洞利用情报，提醒厂商做出相对应的防护措施。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何高并发的爬取与监控暗网数据，实现暗网数据的分类，找出数据中存在的漏洞，并在web页面做出预警。

为实现上述目的，本发明提供了一种基于机器学习的暗网威胁预测系统，包括数据爬取模块、数据存储与展示模块、数据分类模块和漏洞预测模块；

所述数据爬取模块实现对暗网数据的高并发爬取与监控；

所述数据存储与展示模块实现数据的存储和全文搜索，并在web页面展示数据总体分布和分类情况，包括数据存储单元、数据搜索单元、数据展示单元；