[发明专利]一种非结构化海量网络安全数据的关联及查询方法

权利要求书

1.一种非结构化海量网络安全数据的关联及查询方法，基于实现非结构化海量数据的关联及查询方法的系统实现该方法，所述系统包括自底向上、相互通信的硬件层、数据层、处理层、应用层；所述硬件层包括管理服务器和N个计算存储服务器，其中N>1，用于计算海量网络安全数据及存储相应的计算结果；所述数据层包括网络安全数据库，用于存储网络安全数据；其特征在于，所述方法包括如下步骤：

步骤S201：建立二级索引并基于二级索引进行海量网络安全数据快速查询，完成网络安全数据的初次关联；

步骤S202：基于网络安全数据可信度值进行迭代计算，实现所述网络安全数据的关联；

步骤S203：对实现了关联的所述网络安全数据进行有效性判定，对于不符合要求的所述实现了关联的网络安全数据，从网络安全数据库中删除该网络安全数据及其关联数据；

步骤S204：用户通过数据查询接口提交数据查询任务，查询已经建立的所述二级索引数据，获取所述数据关联任务对应的数据主键值，通过该数据主键值查询所述网络安全数据库的关联数据表，获取对应的网络安全数据及其关联数据。

2.如权利要求1所述的一种非结构化海量网络安全数据的关联及查询方法，其特征在于，所述步骤S201：建立二级索引并基于二级索引进行海量网络安全数据快速查询，完成网络安全数据的初次关联；包括：

步骤S301：分析更新或新增的非结构化网络安全数据特点，提取能够表征该网络安全数据的安全属性字段对应的数据为安全属性特征字段数据，并存入网络安全数据库；所述网络安全数据的安全属性字段个数大于或等于1；

步骤S302：将所述安全属性特征字段对应的数据与该网络安全数据的主键值建立映射关系，形成二级索引数据，并存入网络安全数据库；

步骤S303：定期进行网络安全数据扫描，获知具有更新或新增的网络安全数据，依据所述安全属性特征字段对应的数据在所述二级索引数据中查找对应的主键值；

步骤S304：依据查找到的所述主键值，快速定位网络安全数据库中的数据，完成网络安全数据的初次关联操作，对完成初次关联的所述网络安全数据设置标记。

3.如权利要求1所述的一种非结构化海量网络安全数据的关联及查询方法，其特征在于，步骤S202：基于网络安全数据可信度值进行迭代计算，实现所述网络安全数据的关联，包括：

步骤S401：查找已经完成初次关联的网络安全数据或从用户发送的数据关联任务获取的网络安全数据作为需关联的网络安全数据；

步骤S402：依据该网络安全数据的特点，将该网络安全数据字段内容分为三类：唯一表征类数据、概率表征类数据和无效表征类数据；

步骤S403：对于第一类数据，即唯一表征类数据，依据该字段的内容进行查询操作，获取所有结果数据，并将关联结果的可信度值标记为最大，然后将获取的数据进行分类关联，标记关联结果的可信度值；

对于第二类数据，即概率表征类数据，依据该字段的内容进行数据查询，关联所有结果，并依据表征数据的可靠性，标记关联结果的可信度值；

对于第三类数据，即无效表征类数据，不进行关联，可信度值置为0；

步骤S404：判断可信度值是否高于预设阈值，若是，进入步骤S402；若否，方法结束。

4.如权利要求3所述的一种非结构化海量网络安全数据的关联及查询方法，其特征在于，所述唯一表征类数据是指安全属性字段数据属于用户的唯一属性；所述概率表征类数据是指某些字段内容概率不确定属于某一用户或不完全属于单一用户。