[发明专利]一种基于有向图结构的数据集成方法

说明书

本发明公开了一种基于有向图结构的数据集成方法，消除了异构模式描述与表示的差异；然后将各异构的数据源模式转换成使用模式图描述的形式，形成了数据源的模式图集，并通过对图形结构节点集及边集定义变换操作以及等价条件，模式图相互比对自动生成映射规则文档集以消除模式间冲突，重组为全局模式。

技术领域

本发明涉及数据集成领域，尤其涉及一种基于有向图结构的数据集成方法。

背景技术

在“互联网+”、中国制造2025提出后，大数据的重要价值被发现，相关的应用正改变着诸多方面。而大数据分析的质量和有效性在很大程度上依赖于对各个环节数据的整合与集成质量。因此，如何将分散、分布、异构的各“小”数据进行整合，集成为有效的“大”数据以全面共享和支持大数据应用已成为当前需要解决的核心关键问题，也是大数据应用的前提和基础。

数据集成是将分散存放在“数据孤岛”中且在数据模式、格式、结构、表示、特点等方面存在差异的数据在逻辑上或物理上有机地集中，从而提供全面的数据共享服务。其核心关键主要是在不改变分布自治异构数据源原始模式的前提下，用一种统一的模式描述各数据源数据，以消除多源异构数据的多模式冲突，形成统一描述且无冲突的全局模式，屏蔽模式的异构性，维护数据源整体的一致性；以及消解统一描述的各模式间结构冲突这两大难点问题。企业往往渴望能够集成各异构的数据源，以便进行数据共享及数据挖掘等工作。

在数据集成过程中，由于将数据源模式转换为公共模式是第一步，且其后的结构冲突的消除是以公共模式为基础，因此不同的公共模式对数据集成的难易程度影响很大，需要重点考虑。传统的数据集成方法，主要是以XML Schema作为公共模式，使用XML语言描述各异构的数据源模式形成XML文档，然后对XML文档进行更改操作以消除数据源模式间的模式以及结构冲突，形成全局数据集，但其并未对XML模式进行良好的约束，导致模式复杂以及编程实现困难。或者是通过不规则的树形结构为公共模式描述各异构数据源，然后对树形结构进行树节点以及树枝的变化操作消除冲突形成全局数据集，但其树形结构重复节点过多导致消耗存储太多，性能不佳。因此这些方法存在适用范围窄，实现难度大，付出成本高，实用性不高等缺陷。

发明内容

本发明的目的在于提供一种基于有向图结构的数据集成方法，具有节省存储、提高通信效率、性能高、适用范围广的优点。

本发明的上述目的是通过以下技术方案得以实现的：

一种基于有向图结构的数据集成方法，包括适配器、融合器、分析器和集成引擎解析器，还包括以下步骤：

S1、适配器找出数据源注册信息且连接各异构数据源，并通过各异构数据源的元数据库获得描述各异构数据的数据源模式，通过图形结构将数据源模式进行模式转换，转换为公共模式集，消除模式表示冲突，数据源模式包括数据库名、表名、字段名、数据类型和主外键；

S2、通过适配器获得的数据源模式信息按模式转换规则以及转换流程转换为模式图上对应的节点，模式图包括第一层节点、第二层节点、第三层节点和第四层节点，将数据库名映射为无入度的第一层节点，将各数据表名映射为入度为1的第二层节点，将表中各字段名映射为入度出度都等于1的第三层节点，将各字段的数据类型映射为无出度的第四层节点，各相同信息映射为相同节点，形成对应于数据源模式的模式图集合，并按需要进行调整，将在适配器中形成的模式图描述的数据源模式通过接口与数据集成引擎中的融合器通信；