[发明专利]一种多元数据采集方法及系统

说明书

本发明公开了一种多元数据采集方法及系统，所述方法包括：对网络进行IP扫描，获取多个IP地址以及与所述IP地址相应的文本信息；通过文本分类器对获取到的所述文本信息进行分类，并基于分类结果确定出与工控安全相关的IP地址，其中，所述与工控安全相关的IP地址包括：数据源的IP地址、工控系统的IP地址；将所述与工控安全相关的IP地址存储至网站库中，并基于所述网站库中的所述数据源的IP地址，通过多源爬虫对与各个IP地址对应的网站进行数据爬取；对爬取到的数据进行结构化处理，并将结构化处理后的数据存储至数据库中。

技术领域

本发明涉及工业控制安全技术领域，尤其涉及一种工业控制安全中的多元数据采集方法及系统。

背景技术

天眼是360公司自主研制的大数据安全分析系统。天眼依托于360的丰富资源，可以获得360自有的海量多维度安全数据，可以自动化挖掘数据中潜在的威胁情报，向客户推送预警信息。

天眼系统首先分析自有的海量数据，通过机器学习和数据挖掘等方式结合安全专家对网上出现的安全情报进行持续的监控，对新型的木马、病毒和攻击方式进行监控，并对攻击者进行跟踪，最后将这些威胁情报推送给用户。

天眼系统还可以基于一整套硬件系统对公司的网络数据进行采集，一方面可以完善公司的数据库，另一方面通过对网络流量的分析，结合云端发现的威胁情报数据对本地的恶意行为进行发现。

最后天眼系统会根据用户的数据和自有的海量数据对攻击者进行追踪定位，并分析出攻击者的位置、行为、目标等数据，分辨出普通攻击和高级持续性威胁(APT，AdvancedPersistent Threat)攻击，一方面充实数据库，另一方面针对性地做出响应。

x-force是IBM公司所开发的一个信息安全数据平台，上面有丰富的各类数据，一方面是实时更新的攻击行为数据和僵尸网络的数据，另一方面有安全专家发布各类新闻等数据，这些数据经过了精心的编排，页面做得非常细致。

x-force的僵尸网络数据是网站比较核心的数据，IBM通过检测网上的数据流，检测网上的僵尸网络，借此来发现攻击组织的行为。

该网站的另一个特色是有着比较方便的用户定制服务，对于用户来说可以建立一个集合，追踪自己关心的某个组织，将这个组织的相关行为综合起来集中分析，这个集合也可以与其他人分享，这就构成了一个比较活跃的用户群。

360的天眼和IBM的x-force是比较出名的网络安全多源数据汇聚平台，这两者都收集了海量的安全数据并且进行分析，挖掘了其中的价值，但是这两者并非最佳解决方案，主要有以下几个问题：

数据来源依靠公司强大的背景，对于网络中可获取的数据并不是特别重视，因此，数据来源并不全面。

网站的数据没有工业控制(也简称为工控)特色，也即网站数据中缺乏工控安全方面的多源数据。

发明内容

为解决上述技术问题，本发明实施例提供了一种多元数据采集方法及系统。

本发明实施例提供的多元数据采集方法，包括：

对网络进行IP扫描，获取多个IP地址以及与所述IP地址相应的文本信息；

通过文本分类器对获取到的所述文本信息进行分类，并基于分类结果确定出与工控安全相关的IP地址，其中，所述与工控安全相关的IP地址包括：数据源的IP地址、工控系统的IP地址；

将所述与工控安全相关的IP地址存储至网站库中，并基于所述网站库中的所述数据源的IP地址，通过多源爬虫对与各个IP地址对应的网站进行数据爬取；

对爬取到的数据进行结构化处理，并将结构化处理后的数据存储至数据库中。