[发明专利]一种数据分析方法、装置、设备及存储介质

说明书

本申请提供了一种数据分析方法、装置、设备及存储介质，应用于网络安全技术领域，该方法包括：获取威胁情报文本数据；按照预设的数据类型将威胁情报文本数据进行去重处理，得到每种数据类型各自对应的待处理数据；按照预设的存储字段将每种数据类型各自对应的待处理数据存储至HBase数据库的临时表中；确定每种存储字段在临时表中各自对应的从键ID和临时表对应的主键ID之间的关联关系数据；将关联关系数据导入到图数据库中，得到多级关联关系的威胁情报关系数据。本申请能够避免了在亿级数据表里对不同数据类型中重复的数据进行去重和汇总关键字段，提高了数据的查找效率；以及利用图数据库统计分析每种存储字段的详细元素信息，提高数据统计效率。

技术领域

本申请涉及网络安全技术领域，具体而言，涉及一种数据分析方法、装置、设备及存储介质。

背景技术

随着网络技术的飞速发展，各行各业都引进了大量网络技术以提高生产力，随之而来的便是网络信息安全问题，在网络信息安全态势日趋复杂的情况下，威胁情报驱动的网络信息安全动态防御成为了业界关注的焦点，威胁情报具有数据内容丰富、准确性高、实时性强的特点，往往能反映出整个攻击事件的攻击链，因此具有极高的应用与分析价值。

根据威胁情报来源划分，有基于安全设备拦截信息、基于沙盒执行、基于蜜罐技术和基于文本数据等技术研究，相比其他威胁数据，文本数据的威胁情报数据由安全研究人员撰写，通过爬虫等方式获取，并将获取的上亿级数据存放在一张数据表中，由于数据表中的数据包含多种类型，而这些数据又不是以主键的形式存储，如果分析统计这些不同类型的威胁情报文本数据，极大影响查询效率和统计分析效率。

发明内容

有鉴于此，本申请实施例提供了一种数据分析方法，采用HBase数据库对不同数据类型的数据，按照存储字段存储在临时表中，避免了在亿级数据表里对不同数据类型中重复的数据进行去重和汇总关键字段，提高了数据的查找效率；以及利用图数据库根据每种数据类型，统计分析每种存储字段的详细元素信息，提高数据统计效率。

第一方面，本申请实施例提供了一种数据分析方法，所述方法包括：

获取威胁情报文本数据，其中，威胁情报文本数据指利用应用系统中的软件安全漏洞攻击、入侵他人计算机的数据；

按照预设的数据类型将所述威胁情报文本数据进行分类处理，并对每种数据类型中的数据进行去重处理，得到每种数据类型各自对应的待处理数据；

按照预设的存储字段将每种数据类型各自对应的待处理数据存储至HBase数据库的临时表中；

确定每种存储字段在临时表中各自对应的从键ID和HBase数据库的临时表对应的主键ID，以及确定每种存储字段在临时表中各自对应的从键ID和所述临时表对应的主键ID之间的关联关系数据；

将所述关联关系数据导入到图数据库中，得到多级关联关系的威胁情报关系数据；

对所述威胁情报关系数据进行查找统计处理，确定每种存储字段各自对应的多级关联关系的统计结果。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，获取威胁情报文本数据，包括：

根据爬虫程序从互联网中获取开源的威胁情报文本数据，并将获取到的威胁情报文本数据保存在HBase数据库中。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，按照预设的数据类型将所述威胁情报文本数据进行分类处理，并对每种数据类型中的数据进行去重处理，得到每种数据类型各自对应的待处理数据，包括：

按照IP地址数据、域名数据、样本数据和Url数据将所述威胁情报文本数据进行分类处理，其中，所述预设的数据类型包含：IP地址数据、域名数据、样本数据、Url数据；