[发明专利]一种基于图增量同步异构数据源数据关系的方法及装置

说明书

本发明提供一种基于图增量同步异构数据源数据关系的方法及装置，所述基于图增量同步异构数据源数据关系的装置包括异构数据源管理单元、图谱关系设计器、语言解析器、语言执行器、图谱数据存储器和图谱数据关系构建器，该基于图增量同步异构数据源数据关系的方法及装置设计合理，利用图的方式记录数据之间的关系来同步异构数据，大大降低了图谱数据的维护成本，能够在系统记录图谱关系，自动根据记录的图谱关系同步数据，大大降低了图谱数据库同步数据和使用数据的难度。

技术领域

本发明属于大数据治理技术领域，特别涉及一种基于图增量同步异构数据源数据关系的方法及装置。

背景技术

智慧城市建设中离不开数据的治理，数据的分析，针对关系复杂的数据，比如通过标准地址可以关联到地址有哪些建筑物、地址发生了哪些事情，地址建筑物里面有哪些公司、公司里面有哪些人等等，业务场景不一样所需要的数据关系也不一样，通过多表关联查询的方式查询这些数据的关系，但是由于智慧城市数据量大，关系复杂的原因，关联查询效率非常低，为了解决关系复杂数据查询慢的问题，根据不同的业务场景提前在图谱数据库建立数据关系，可以利用图谱数据库的特点显著提高查询速度，上述例子中，通过图谱数据库可以做到手指轻轻一点可以立马查询到与地址相关的所有关系数据，但是唯一的痛点是智慧城市建设中业务需求繁多，业务需求不一样会导致所需要的数据关系不一样，针对不同的数据关系，需要定制化同步数据关系，特别是针对异构数据源，同一类数据在不同的数据库，需要定制化开发不同数据库的同步接口，无法做到针对不同数据库不同数据关系“零代码”数据同步，而且当业务需求变化的时候，可能需要更新数据同步代码，而且维护众多不同业务的数据同步代码相当浪费人力，为此，本发明提出一种基于图增量同步异构数据源数据关系的方法及装置。

发明内容

为了解决现有技术存在的问题，本发明提供了一种基于图增量同步异构数据源数据关系的方法及装置，该基于图增量同步异构数据源数据关系的装置设计合理，利用图的方式记录数据之间的关系来同步异构数据，大大降低了图谱数据的维护成本，能够在系统记录图谱关系，自动根据记录的图谱关系同步数据，大大降低了图谱数据库同步数据和使用数据的难度。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于图增量同步异构数据源数据关系的方法，具体步骤如下：

步骤S1：将异构数据源注册到系统；

步骤S2：根据实际业务需求在图谱关系设计器设计数据关系图，数据关系图由节点和连线组成，每个节点属性记录一组源数据地址，连线连接两个节点用于描述节点与节点之间的关系，每条连线属性记录一组源关系数据地址，以及节点源数据与源关系数据的关联字段；

步骤S3：根据每个节点源数据地址获取源数据，同步到图谱数据库；

步骤S4：根据连线记录的源关系数据地址，获取源关系数据，以每条关系源数据记录两条数据的关联关系为依据为图谱数据库数据建立关联关系，遍历关系源数据循环进行S5以下步骤直到遍历结束；

步骤S5：用于检验待建立关系的两条数据是否存在于图谱数据库，如果存在，则进行步骤S8，如果不存在，则进行步骤S6；

步骤S6：从源数据库查询未同步到图谱数据库的源数据，查询到数据则进行步骤S7，查询不到数据则代表由于数据问题无法建立数据关系，本次建立关系结束；

步骤S7：同步待建立关系的两条数据到图谱数据库；

步骤S8：为待建立关系的两条数据在图谱数据库建立关系。

作为本发明的一种优选实施方式，所述步骤S1具体包括下述内容：注册Mysql、Oracle、ElasticSearch和Dgraph等异构数据源到系统，注册信息包括必要的IP、端口、账号和密码等信息，为了避免后续同步数据频繁的创建销毁数据源连接，浪费不必要的性能损耗，注册完后会在系统自动维护各个数据源的连接池，方便后面同步数据直接在连接池获取数据库连接。