[发明专利]一种基于有向图结构的数据集成方法有效
申请号: | 201910090079.4 | 申请日: | 2019-01-18 |
公开(公告)号: | CN109828972B | 公开(公告)日: | 2022-03-22 |
发明(设计)人: | 刘基阳 | 申请(专利权)人: | 深圳易嘉恩科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/25 |
代理公司: | 四川省成都市天策商标专利事务所(有限合伙) 51213 | 代理人: | 吴瑞芳 |
地址: | 518000 广东省深圳市南山区粤海街*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 结构 数据 集成 方法 | ||
1.一种基于有向图结构的数据集成方法,其特征在于,包括适配器、融合器、分析器和集成引擎解析器,还包括以下步骤:
S1、适配器找出数据源注册信息且连接各异构数据源,并通过各异构数据源的元数据库获得描述各异构数据的数据源模式,通过图形结构将数据源模式进行模式转换,转换为公共模式集,消除模式表示冲突,数据源模式包括数据库名、表名、字段名、数据类型和主外键;
S2、通过适配器获得的数据源模式信息按模式转换规则以及转换流程转换为模式图上对应的节点,模式图包括第一层节点、第二层节点、第三层节点和第四层节点,将数据库名映射为无入度的第一层节点,将各数据表名映射为入度为1的第二层节点,将表中各字段名映射为入度出度都等于1的第三层节点,将各字段的数据类型映射为无出度的第四层节点,各相同信息映射为相同节点,形成对应于数据源模式的模式图集合,并按需要进行调整,将在适配器中形成的模式图描述的数据源模式通过接口与数据集成引擎中的融合器通信;
S3、在分析器中对模式图集的各个元素进行对比,发现结构和语义冲突并按预定义的模式图操作完成相应操作,即消除各模式间的结构冲突,形成完整、统一、无冲突的全局模式,将相应的操作更改为映射规则,对节点集和边集进行操作,操作包括针对单个模式图中节点值的修改、删除节点及与之关联的边集、增加对应边集的节点、修改对应的节点、增加边集以及针对模式图节点之间的合并、替换、节点的嫁接操作,单个模式图中的节点合并表示将数据源中存在合并等价关系的数据映射为模式图上同一节点,可消除单个数据源数据的冲突,模式图间节点的合并与嫁接操作代表数据源间存在等价关系的数据映射为模式图中同一节点,用于消除数据源间的数据冲突;
S4、将全局模式作为数据中心的数据模式,将数据源的数据按照全局模式与映射规则集的约束迁移到数据中心,完成数据的集成。
2.根据权利要求1所述的一种基于有向图结构的数据集成方法,其特征在于,所述步骤S4中的映射规则集是在集成过程中自动对比生成,主要记录模式图操作所做的各种更改,包括对单个模式图节点及边集的操作以及模式图间对节点集以及边集的操作,据此映射规则,可以保持数据源局部模式以及全局模式的相互映射,保持两者的独立性。
3.根据权利要求1所述的一种基于有向图结构的数据集成方法,其特征在于,所述步骤S2还包括以下步骤:
S201、查找注册信息;
S202、连接数据源;
S203、获取元数据集;
S204、若元数据集的数据库名集合为空,则断开连接,结束操作否则进行下一步骤;
S205、将数据库名映射为模式图的第一层节点;
S206、表名集合为空则返回步骤S204,否为进行下一步;
S207、获取集合元素对应的表名元数据集;
S208、表名映射为模式图的第二层节点;
S209、字段合集为空,则返回步骤S206,否则进行下一步;
S210、获取集合元素对应的字段名元数据集;
S211、字段映射为模式图第三层节点;
S212、获取字段类型及其约束条件;
S213、映射为模式图第四层节点;
S214、添加到模式图集合,进行步骤S206。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳易嘉恩科技有限公司,未经深圳易嘉恩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910090079.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:支持多节点的分布式缓存方法及设备
- 下一篇:信息处理方法和设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置