[发明专利]图数据库的数据导入方法和装置、存储介质及电子设备

说明书

本发明公开了一种图数据库的数据导入方法和装置、存储介质及电子设备。上述方法包括：确定待上传的数据文件，其中，所述数据文件包括：图数据对应的点数据与边数据的数据映射文件；通过主节点对所述数据映射文件进行处理，得到所述数据映射文件与从节点对应的数据块分布列表；所述主节点通过所述数据块分布列表将从节点对应待处理的数据块分配给从节点，并分发所述数据块对应的处理任务；在所述从节点对所述数据块完成分布式并发处理的情况下，主节点根据所述分布式并发处理的处理结果确定出图数据库待导入的边界数据。解决了现有技术中导入大数据量图数据时图数据库的性能存在瓶颈以及对于边数据的导入效率低下等问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种图数据库的数据导入方法和装置、存储介质及电子设备。

背景技术

随着大数据与万物互联时代的到来，数据涌现一种喷发的趋势，并且数据之间存在着各种各样的复杂关系。传统的关系型数据库处理这些复杂关系的数据呈现一种性能不足的现象，无法很好地满足市场用户的需求。图数据库基于图论理论而产生，天然支持复杂关系的快速处理。然而，如何将大量的存在点边关联关系的复杂数据导入图数据库成为了关键所在。

相关技术中，根据用户的操作指令通过参数配置模块生成导入或导出信息，数据摄取模块根据参数配置模块的信息去摄取目标数据，数据转换模块将摄取到的数据进行数据格式转换(图数据的点边格式与属性数据格式之间的转换)，导入导出模块根据用户的操作指令将数据转换模块转换后的数据导入图数据库或导出至目的端。但是，该导入、导出流程重点在于数据格式转换过程，无法实现点边文件关联导入图数据库以及大规模数据导入图数据库的情况。此外，对于从关系数据到图数据的交互式数据迁移提出了一种迁移方法，根据关系数据库元数据构建实体联系ER模型，然后映射图模型，最后完成数据迁移。但其核心如何简单便捷的进行数据迁移，并未涉及大数据量数据导入图数据库的场景，导入性能存在缺陷。

针对上述的问题，现有技术中导入大数据量图数据时图数据库的性能存在瓶颈以及对于边数据的导入效率低下等问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图数据库的数据导入方法和装置、存储介质及电子设备，以至少解决现有技术中导入大数据量图数据时图数据库的性能存在瓶颈以及对于边数据的导入效率低下等问题。

根据本发明实施例的一个方面，提供了一种图数据库的数据导入方法，包括：确定待上传的数据文件，其中，所述数据文件包括：图数据对应的点数据与边数据的数据映射文件；通过主节点对所述数据映射文件进行处理，得到所述数据映射文件与从节点对应的数据块分布列表；所述主节点通过所述数据块分布列表将从节点对应待处理的数据块分配给从节点，并分发所述数据块对应的处理任务；在所述从节点对所述数据块完成分布式并发处理的情况下，所述主节点根据所述分布式并发处理的处理结果确定出图数据库导入的边界数据。

在一个示例性实施例中，所述主节点根据所述分布式并发处理的处理结果确定出图数据库导入的边界数据，包括：所述主节点获取每一个所述从节点上所述数据块的处理结果中的边界偏移量；对所述边界偏移量通过预设算法进行汇总运算，以得到所述边界偏移量对应的所述导入的边界数据。

在一个示例性实施例中，所述从节点对所述数据块的分布式并发处理，包括：在确定所述数据映射文件为点数据对应的数据映射文件的情况下，所述图数据库向所述从节点返回的顶点ID，以指示所述从节点在本地缓存中写入所述顶点ID，其中，所述从节点用于导入待上传的数据文件对应图数据的点数据和/或边数据；在确定所述数据映射文件为边数据对应的数据映射文件的情况下，确定边数据对应的两端顶点ID在所述从节点的本地内存中是否存在，以确定出所述边数据的确认方式。