[发明专利]基于Flink实现Neo4j数据同步的方法及系统、集成方法及装置

说明书

本申请提供一种基于Flink实现Neo4j数据同步的方法及系统、集成方法及装置，基于Flink实现Neo4j数据同步的集成方法包括：提供经建立的项目的核心依赖及其版本，所述核心依赖至少包括Flink依赖以及Neo4j依赖；提供经建立的数据转换映射器，所述数据转换映射器用于将数据对象转换为Neo4j cypher格式片段；提供经重写的基于对所述Flink依赖中的部分方法，其中，在重写的部分方法中基于所述数据转换映射器完成数据对象与Neo4j cypher格式片段的转换，以提供经建立的Flink写入Neo4j图数据库的处理组件。本申请实现高效简洁、灵活自由的Neo4j数据同步方案。

技术领域

本申请涉及数据处理领域，尤其涉及一种基于Flink实现Neo4j数据同步的方法及系统、集成方法及装置。

背景技术

Neo4j是一个高性能的，NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。

On-Line Transaction Processing联机事务处理过程(OLTP)，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。

Online Analytical Processing联机分析处理(OLAP)是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(Analysis)，指用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告；M是多维性(Multi—dimensional)，指提供对数据分析的多维视图和分析；I是信息性(Information)，指能及时获得信息，并且管理大容量信息。

ETL用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

crud是指在做计算处理时的增加(Create)、检索(Retrieve)、更新(Update)和删除(Delete)几个单词的首字母简写。crud主要被用在描述软件系统中数据库或者持久层的基本操作功能。

现有的Neo4j数据同步方案主要有两类，一种是在OLTP流程中随着业务数据进行CRUD，另一种是在OLAP流程中伴随ETL最终落入Neo4j。前者时效性高，系统结构简单，但只能嵌入在业务服务中，灵活性和扩展性较低；后者时效性较低，系统结构复杂，各类ETL组件需要自行与Neo4j进行集成，但数据来源自由多样，灵活性和扩展性高。

另一方面，Neo4j现有的操作类库仅提供了CRUD的API(应用接口)，对于Upsert(当写入值不存在时，表示写入数据，否则更新数据)尚未支持，而Neo4j在日常业务应用中是以Upsert场景为主。

由此，如何实现高效简洁、灵活自由的Neo4j数据同步方案，是本领域技术人员亟待解决的技术问题。

发明内容

本申请为了克服上述现有技术存在的缺陷，提供一种基于Flink实现Neo4j数据同步的方法及系统、集成方法及装置，以实现高效简洁、灵活自由的Neo4j数据同步方案。

根据本申请的一个方面，提供一种基于Flink实现Neo4j数据同步的集成方法，包括：