[发明专利]一种批量数据导入图像数据库的方法和装置

说明书

本发明实施例公开了一种批量数据导入图像数据库的方法和装置，该方法包括：将要导入到图形数据库的批量数据变换为预设格式的文件；批量数据包括节点数据和边数据；预设格式的文件包括：parquet格式文件；parquet格式文件包括：parquet节点文件和parquet边文件；通过创建的内存计算框架读取预设格式的文件；使用预设程序创建内存计算框架和图形数据库的连接，并根据图形数据库的类型通过该连接将预设格式的文件导入图形数据库。通过该实施例方案，实现了将批量数据导入图形数据库，提高了工作效率，为大数据时代对关系图谱的构建提供了技术基础。

技术领域

本发明实施例涉及大数据应用技术，尤指一种批量数据导入图像数据库的方法和装置。

背景技术

图形数据库是一种新型数据库，与传统关系型数据库相比，它更擅长复杂的数据分析以及数据之间关系的呈现，大数据发展到今天，越来越受到企业的重视，如何将数据在时间、空间等维度上进行打通融合，进而提升数据价值，对企业来说显得非常重要，而数据融合本质上体现的数据之间的关联，图形数据库本身基于图的结构形式存储数据，在这方面具有先天优势。

发明内容

为了解决上述技术问题，本发明实施例提供了一种批量数据导入图像数据库的方法和装置，能够将批量数据导入图形数据库，提高了工作效率，为大数据时代对关系图谱的构建提供了技术基础。

为了达到本发明实施例目的，本发明实施例提供了一种批量数据导入图像数据库的方法，所述方法可以包括：

将要导入到图形数据库的批量数据变换为预设格式的文件；所述批量数据包括节点数据和边数据；所述预设格式的文件包括：parquet格式文件；所述parquet格式文件包括：parquet节点文件和parquet边文件；

通过创建的内存计算框架读取所述预设格式的文件；

使用预设程序创建所述内存计算框架和所述图形数据库的连接，并根据所述图形数据库的类型，通过所述连接将所述预设格式的文件导入所述图形数据库。

在本发明的示例性实施例中，所述parquet节点文件的信息可以包括：需要导入到所述图形数据库的节点类型的第一标签label信息；

所述parquet边文件的信息可以包括：需要导入到所述图形数据库的边类型的第二label信息。

在本发明的示例性实施例中，所述parquet节点文件的信息还可以包括：需要导入到所述图形数据库的节点类型的身份标识ID信息和/或节点属性信息；所述parquet边文件的信息还可以包括：需要导入到所述图形数据库的边类型的边属性信息。

在本发明的示例性实施例中，所述方法还可以包括：将变换成的所述预设格式的文件存放在分布式文件系统上或者本地。

在本发明的示例性实施例中，所述方法还可以包括：通过Java语言编写计算引擎spark程序，以创建所述内存计算框架。

在本发明的示例性实施例中，所述使用预设程序创建所述内存计算框架和所述图形数据库的连接可以包括：

使用所述预设程序创建连接所述图形数据库的驱动driver连接。

在本发明的示例性实施例中，所述方法还可以包括：在使用预设程序创建所述内存计算框架和所述图形数据库的连接之前，安装并启动所述图形数据库，并获取连接所述图形数据库所需的用户名、密码以及图形数据库地址。

在本发明的示例性实施例中，所述parquet边文件中每一条数据对应开始start节点和结束end节点；