[发明专利]一种图数据存储方法、装置、设备及存储介质

说明书

本发明公开了一种图数据存储方法、装置、设备及存储介质。该方法包括：接收对图数据库的数据操作指令；根据所述数据操作指令将待存储图数据写入客户端缓存；将所述客户端缓存的待存储图数据异步存储至HBase服务端。通过上述技术方案，提高了图数据的写入速度和存储效率。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种图数据存储方法、装置、设备及存储介质。

背景技术

图是一种数据结构，其中的节点(或称为顶点)具有零个或至少一个相邻元素，两个节点之间的连接称为边，用于表示相应两个节点之间的关系，图数据库的数据模型主要以顶点和边来体现，可支持大量用户并发执行复杂的实时图遍历和分析查询等。图数据库支持很多的数据库作为数据的存储介质，其中HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，对大数据提供随机、实时的读写访问功能。

目前，图数据库通过插件机制支持后端存储，插件是一种遵循一定规范的应用程序接口编写的程序，只能在程序规定的系统平台下运行，不能脱离程序规定的系统平台单独运行，插件可以加载到应用程序上实现数据的动态更新。对于图数据库后端存储至HBase服务端的情况，由于默认提供的HBase存储插件通过同步接口将图数据写入HBase服务端，在大容量在线系统频繁执行操作时写入速度很慢、效率低下，导致用户无法及时检索到最新图数据，也不能充分发挥HBase超大规模数据集快速读写能力，满足不了大规模图数据快速批量写入需求。

发明内容

本发明提供了一种图数据存储方法、装置、设备及存储介质，以提高图数据的写入速度和存储效率。

第一方面，本发明实施例提供了一种图数据存储方法，包括：

接收对图数据库的数据操作指令；

根据所述数据操作指令将待存储图数据写入客户端缓存；

将所述客户端缓存的待存储图数据异步存储至HBase服务端。

进一步的，还包括：

配置所述图数据库的存储参数信息，所述存储参数信息包括后端存储类型、HBase连接信息、HBase表信息以及扩展参数；

所述后端存储类型包括HBase异步写入插件的JAVA实现类；

所述HBase连接信息包括所述HBase服务端的服务地址和端口号；

所述HBase表信息包括用于存储所述待存储图数据的HBase表名称；

所述扩展参数包括客户端缓存容量和写入数据的最大重试次数。

进一步的，在接收对图数据库的数据操作指令之前，还包括：

创建图工厂类；

通过所述图工厂类加载并解析所述存储参数信息，获取对应的图实例；

根据所述图实例创建HBase异步写入插件，其中，所述HBase异步写入插件用于解析所述存储参数信息并分配客户端缓存，还用于连接HBase服务端并通过至少一个写入线程将客户端缓存的待存储图数据异步存储至HBase服务端。

进一步的，还包括：

接收图数据库的关闭请求或事务提交请求；

在接收图数据库的关闭请求或事务提交请求之后，通过后台监控线程检测到所述客户端缓存中还存在待存储图数据时，将所述待存储图数据存储至所述HBase服务端。

进一步的，还包括：

通过异常处理监听器收集存储失败的数据，所述存储失败的数据包括所述客户端缓存中在最大重试次数之内未写入HBase客户端的待存储图数据。