[发明专利]异构多源数据关联分析系统和方法

说明书

本发明公开了异构多源数据关联分析系统和方法，包括异构多源数据采集模块、异构多源数据混合关联模块、异构多源数据语义映射模块、异构多源数据融合模块和异构多源数据清洗模块；异构多源数据采集模块对不同来源的数据信息进行采集并对获取的数据进行传输；异构多源数据混合关联模块为基础设施的知识提供途径且描述了基础设施现象发生过程中的时空演变过程；异构多源数据语义映射模块建立低层数据与其对应标签的关系，从而实现底层特征与高层语义的转换；异构多源数据融合模块用于判断数据之间语义距离从而进行融合；异构多源数据清洗模块用于对数据进行清洗保证数据的有效真实性。

技术领域

本发明涉及数据分析技术领域，具体为异构多源数据关联分析系统和方法。

背景技术

目前，在信息化及大数据应用越来越深入的情况下，产生了越来越多的数据集。在海量超多数据集的场景下，对异构多源数据的分析显得尤为重要，且在数据信息查询的过程中，数据的关联性和有效性是判断该数据体系的重要标准，且在数据的提取中，经常会出现数据链不完整，数据链上的数据信息与整体的属性趋势并不相同等错误现象，给数据信息的提取和查询带来了不便之处；

同时，对异构信息关联分析技术支撑能力不够，目前信息关联主要局限于利用关系数据库的实体关系模型进行数据组织，缺乏针对异构多源数据的深度挖掘和模糊信息要素关联方法的研究，难以解决不同类型源信息之间的复杂交叉关系和信息要素内在本质联系的关联问题。

发明内容

本发明的目的在于提供异构多源数据关联分析系统和方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：异构多源数据关联分析方法，包括以下步骤：

步骤S100：对异构多源数据进行关键词的提取，关键词的提取包含上层关键词、下层关键词和本体关键词的提取，并将上层关键词、下层关键词和本体关键词进行整合成关键词集；

步骤S200：基于步骤S100中的关键词集，进行关系网络的构建，关系网络的构建包括空间关系网络、时间序列链和语义关系网络；

步骤S300：基于步骤S200的空间关系网络、时间序列链和语义关系网络进行综合相关度的评估并制定相关的动态更新策略；

步骤S400：基于步骤S300的动态更新策略对其中的异构多源数据进行语义映射和数据融合操作；

步骤S500：对步骤S400中的异构多源数据或者随机抽取的数据进行清洗。

进一步的，步骤S200的具体过程如下：

步骤S210：将关键词集中的上层关键词、下层关键词和本体关键词根据空间属性进行关系网络的构建，空间属性包括位置空间属性和几何空间属性，由位置空间属性构建的关系网络为第一空间关系网，由几何空间属性构建的关系网络为第二空间关系网；

步骤S220：将关键词集中的上层关键词、下层关键词和本体关键词根据时间序列进行关系网络的构建得到第三时间关系网；时间序列为时间发展的自然顺序；

步骤S230：将关键词集中的上层关键词、下层关键词和本体关键词根据语义关系中的逻辑关系进行关系网络的构建得到第四语义关系网。

进一步的，步骤S300的具体过程如下：

步骤S310：记关系网络中的第一空间关系网、第二空间关系网、第三时间关系网和第四语义关系网构成一个关系网络集合A，记第一空间关系网为集合a、第二空间关系网为集合b、第三时间关系网为集合c、第四语义关系网为集合d；