[发明专利]图数据加载方法及装置

说明书

本说明书的实施例提供图数据加载方法及装置。在该图数据加载方法中，响应于从外部获取到待加载图数据，为待加载图数据获取锁。基于图数据加载装置中存储的前一加载图数据的图数据加载标识，确定待加载图数据的图数据加载标识。基于待加载图数据的图数据加载标识，确定出待加载图数据在图数据处理设备的本地内存中所创建的图数据存储空间中的对应存储位置。在释放为待加载图数据获取的锁后，将待加载图数据保存到图数据存储空间中的对应存储位置。

技术领域

本说明书实施例通常涉及图数据处理领域，尤其涉及图数据加载方法及装置。

背景技术

随着图数据的规模越来越大，将图数据存储在位于图数据处理设备外部的数据存储介质或数据存储系统中成为图数据存储的一种趋势。在进行图数据处理时，需要将图数据从外部数据存储介质或数据存储系统加载到图数据处理设备的本地内存中，以供图数据处理设备后期处理。

在大规模图数据的情况下，图数据加载通常并发执行。在并发图数据加载过程中会发生锁竞争，锁竞争会大大影响图数据加载的并发效率。

发明内容

鉴于上述，本说明书实施例提供图数据加载方法及装置。利用该图数据加载方法及装置，可以减少图数据加载过程中的锁持有时间，从而减少并发加载过程中的锁竞争，由此提升图数据加载的并发效率。

根据本说明书实施例的一个方面，提供一种图数据加载方法，包括：响应于从外部获取到待加载图数据，为所述待加载图数据获取锁；基于图数据加载装置中存储的前一加载图数据的图数据加载标识，确定所述待加载图数据的图数据加载标识；释放为所述待加载图数据获取的锁；以及在完成锁释放后，将所述待加载图数据保存到图数据处理设备的本地内存中所创建的图数据存储空间中的对应存储位置，所述对应存储位置基于所述待加载图数据的图数据加载标识确定出。

可选地，在上述方面的一个示例中，将所述待加载图数据保存到图数据处理设备的本地内存中所创建的图数据存储空间中的对应存储位置可以包括：将所述待加载图数据的数据标识和数据属性保存到所述图数据存储空间中的对应存储位置，或者将所述待加载图数据的数据属性保存到所述图数据存储空间中的对应存储位置。

可选地，在上述方面的一个示例中，所述存储位置确定过程在所述锁释放过程之前执行或者在所述锁释放过程之后执行。

可选地，在上述方面的一个示例中，所述图数据存储空间包括多个用于存储图数据的内存块，每个内存块具有固定数目个存储位置，所述图数据处理设备的本地内存中维护首地址队列，所述首地址队列用于根据创建时间顺序依序存储各个内存块的首地址。相应地，基于所述待加载图数据的图数据加载标识，确定所述待加载图数据在图数据处理设备的本地内存中所创建的图数据存储空间中的存储位置可以包括：基于所述图数据加载标识，确定所述待加载图数据在所述图数据存储空间中的存储位置索引，所述存储位置索引包括内存块的内存块索引以及内存块中的偏移量；基于所述内存块索引从所述首地址队列中获取内存块的首地址；以及根据所获取的内存块的首地址以及所述偏移量，确定所述待加载图数据在所述图数据存储空间中的存储位置。

可选地，在上述方面的一个示例中，将所述待加载图数据保存到所述图数据存储空间中的对应存储位置可以包括：判断所述待加载图数据的数据大小是否超过所述图数据存储空间中的对应存储位置的存储大小；在所述待加载图数据的数据大小不超过所述图数据存储空间中的对应存储位置的存储大小时，将所述待加载图数据保存到所述图数据存储空间中的对应存储位置，在所述待加载图数据的数据大小超过所述图数据存储空间中的对应存储位置的存储大小时，从图数据处理设备的本地内存的空闲内存中为所述待加载图数据申请内存空间，将所述待加载图数据保存到所申请的内存空间，并且将所申请内存空间的空间地址保存到所述图数据存储空间中的对应存储位置。