[发明专利]一种数据分析方法、装置、设备及存储介质

权利要求书

1.一种数据分析方法，其特征在于，所述方法包括：

获取威胁情报文本数据，其中，威胁情报文本数据指利用应用系统中的软件安全漏洞攻击、入侵他人计算机的数据；

按照预设的数据类型将所述威胁情报文本数据进行分类处理，并对每种数据类型中的数据进行去重处理，得到每种数据类型各自对应的待处理数据；

按照预设的存储字段将每种数据类型各自对应的待处理数据存储至HBase数据库的临时表中；

确定每种存储字段在临时表中各自对应的从键ID和HBase数据库的临时表对应的主键ID，以及确定每种存储字段在临时表中各自对应的从键ID和所述临时表对应的主键ID之间的关联关系数据；

将所述关联关系数据导入到图数据库中，得到多级关联关系的威胁情报关系数据；

对所述威胁情报关系数据进行查找统计处理，确定每种存储字段各自对应的多级关联关系的统计结果。

2.根据权利要求1所述的数据分析方法，其特征在于，获取威胁情报文本数据，包括：

根据爬虫程序从互联网中获取开源的威胁情报文本数据，并将获取到的威胁情报文本数据保存在HBase数据库中。

3.根据权利要求1所述的数据分析方法，其特征在于，按照预设的数据类型将所述威胁情报文本数据进行分类处理，并对每种数据类型中的数据进行去重处理，得到每种数据类型各自对应的待处理数据，包括：

按照IP地址数据、域名数据、样本数据和Url数据将所述威胁情报文本数据进行分类处理，其中，所述预设的数据类型包含：IP地址数据、域名数据、样本数据、Url数据；

若分类后的所述威胁情报文本数据存在重复的ID标识，则对分类后的所述威胁情报文本数据中重复的ID标识所对应的关键字段进行去重处理，得到每种数据类型各自对应的待处理数据。

4.根据权利要求1所述的数据分析方法，其特征在于，按照预设的存储字段将每种数据类型各自对应的待处理数据存储至HBase数据库的临时表中，包括：

按照预设的存储字段将每种数据类型各自对应的待处理数据分别存储至HBase数据库的临时表中，其中，所述存储字段包含：国家字段、城市字段、社区字段、端口字段、地址字段、文档字段、邮箱字段、Url字段和范围字段；

根据所述HBase数据库的临时表，建立所述临时表对应的主键ID。

5.根据权利要求1所述的数据分析方法，其特征在于，确定每种存储字段在临时表中各自对应的从键ID和HBase数据库的临时表对应的主键ID，以及确定每种存储字段在临时表中各自对应的从键ID和所述临时表对应的主键ID之间的关联关系数据，包括：

确定每种存储字段在临时表中的存储地址为每种存储字段各自对应的从键ID；

确定HBase数据库的临时表对应的存储地址为主键ID；

将每种存储字段各自对应的从键ID和HBase数据库的临时表对应的主键ID进行绑定，生成关联关系数据。

6.根据权利要求1所述的数据分析方法，其特征在于，将所述关联关系数据导入到图数据库中，得到多级关联关系的威胁情报关系数据，包括：

在所述图数据库中按照每种数据类型，根据HBase数据库的临时表对应的主键ID与图数据库中关联关系数据ID，建立第一级关联关系；

根据所述第一级关联关系与每种存储字段各自对应的属性，建立关联关系数据的第二级关联关系；

根据所述第一级关联关系和所述第二级关联关系，得到多级关联关系的威胁情报关系数据。

7.根据权利要求1所述的数据分析方法，其特征在于，对所述威胁情报关系数据进行查找统计处理，确定每种存储字段各自对应的多级关联关系的统计结果，包括：

根据每种存储字段对所述威胁情报关系数据进行查找处理，得到每种存储字段各自对应的统计数据；

确定所有存储字段对应的统计数据为统计结果，将所述统计结果进行可视化处理。