[发明专利]一种图数据处理的方法和设备

说明书

本发明提供了一种图数据处理的方法和设备，该方法包括以下步骤：提取图数据库中存储的图数据的结构模式以形成原始数据；将原始数据封装成图数据对象并交付给本地内存数据库；将内存数据库中的图数据对象基于用户指定属性的顶点数据和边数据进行筛选；将筛选后的图数据对象根据数据流转方向交付给不同的框架进行相应的图数据处理。通过使用本发明的方案，能够使处理图数据的流程和时间尽可能的缩短，减少了数据落地次数，极大的提升了图数据流转效率，降低了图数据落地耗时，满足了大数据环境下的数据高负载和计算高效率。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种图数据处理的方法和设备。

背景技术

图数据库的基本含义是以“图”这种数据结构存储和查询数据，而不是存储图片的数据库。它的数据模型主要是以节点和关系(边)来体现，也可处理键值对。它的优点是快速解决复杂的关系问题。图将实体表现为节点，实体与其他实体连接的方式表现为联系。我们可以用这个通用的、富有表现力的结构来建模各种场景，从宇宙火箭的建造到道路系统，从食物的供应链及原产地追踪到人们的病历，甚至更多其他的场景。但是在涉及到图数据ETL(抽取转换加载)的场景中，往往由于需要结合其他框架，这样就需要进行数据衔接和数据传输，从而产生图数据流转效率低下的问题。

发明内容

有鉴于此，本发明实施例的目的在于提出一种图数据处理的方法和设备，通过使用本发明的方法，能够使处理图数据的流程和时间尽可能的缩短，减少了数据落地次数，极大的提升了图数据流转效率，降低了图数据落地耗时，满足了大数据环境下的数据高负载和计算高效率。

基于上述目的，本发明的实施例的一个方面提供了一种图数据处理的方法，包括以下步骤：

提取图数据库中存储的图数据的结构模式以形成原始数据；

将原始数据封装成图数据对象并交付给本地内存数据库；

将内存数据库中的图数据对象基于用户指定属性的顶点数据和边数据进行筛选；

将筛选后的图数据对象根据数据流转方向交付给不同的框架进行相应的图数据处理。

根据本发明的一个实施例，提取图数据库中存储的图数据的结构模式以形成原始数据包括：

按照用户指定的分割方式将图数据逐行进行拆分；

对拆分后的图数据中的每个字段进行推断以分辨出边ID、顶点ID、顶点标签、顶点属性字段；

根据推断出的字段组装成json或其他格式的字符串。

根据本发明的一个实施例，将原始数据封装成图数据对象并交付给本地内存数据库包括：

创建JavaBean对象将组成的字符串进行数据封装；

利用多线程编程技术将每个节点上封装的数据分别加载到对应的本地Redis数据库中。

根据本发明的一个实施例，将内存数据库中的图数据对象基于用户指定属性的顶点数据和边数据进行筛选包括：

读取用户自定义的属性配置文件，加载配置文件中所需的参与计算的字段；

将Redis数据库中包含参与计算的字段的图数据对象进行提取。

根据本发明的一个实施例，数据流转方向包括将筛选后的图数据对象流转到HDFS文件系统或将筛选后的图数据对象流转到图计算框架。

根据本发明的一个实施例，将筛选后的图数据对象根据数据流转方向交付给不同的框架进行相应的图数据处理包括：

响应于将筛选后的图数据对象流转到HDFS文件系统，对数据进行ETL后直接将图数据对象落地到HDFS文件系统中进行持久化处理；