[发明专利]面向图计算的拓扑查询结构、查询方法、电子设备及介质

说明书

本发明涉及计算机软件技术领域，公开了一种面向图计算的拓扑查询结构，包括：存储层，用于进行多圈层路径的遍历，每完成一个圈层的遍历，就返回该圈层需进行计算和过滤的节点集合以及边集合；计算层，至少包括一个计算节点，计算节点基于查询条件计算和过滤所述存储层返回的节点集合以及边集合，通过流水线处理的方式与所述存储层并行工作；图拓扑构建模块，接收经过所述计算层的计算和过滤后符合查询条件的节点集合以及边集合，并将符合查询条件的节点集合以及边集合进行组合构建成符合查询条件的图，本发明还公开了一种面向图计算的拓扑查询方法。本发明避免了存储层与计算层负载不均的状况，提高了资源利用率，减少了查询时延。

技术领域

本发明涉及计算机软件技术领域，具体涉及面向图计算的拓扑查询结构、查询方法、电子设备及介质。

背景技术

在现有的分布式的图查询技术中，对于多圈层路径的查询，比如：先进行NodeScanByIndex操作查找某些节点，然后对其结果进行若干次ExpandAll操作。常用的做法有两种：一种是向存储层下发节点查询任务，获得结果集后在计算层进行过滤操作，再将过滤结果下发的存储层作为Expand的输入，由存储进行Expand操作并向上层返回结果。这带来了较大的网络开销，导致效率底下。第二种做法则是将过滤操作直接下沉到存储层，由存储层在多圈层遍历的同时进行过滤，并最终将结果返回。这种方式避免了大量的网络开销，但同样存在一些不足：1.存储层完成了图查询的大部分任务，而计算层资源被浪费掉。这在高并发场景下尤其明显，在存储层进行图遍历的过程中，计算层由于没有获得数据而处于空闲状态，而存储层由于查询任务过多产生了极大的负载。2.当存在一些涉及计算的过滤时(如对边的若干属性求加权平均值)，存储层需要针对属性值进行字节流反序列化，在经过一系列的计算和过滤后，再将查询结果序列化后返回计算层，计算层在反序列后才能进行后续的拓扑构建操作，这样频繁的序列化和反序列化也会产生很多的时延。

发明内容

针对上述问题，本发明提供一种面向图计算的拓扑查询结构、查询方法、电子设备及介质，目的在于利用存储层具备一定过滤能力和批处理能力的前提下，将复杂过滤和图计算以及图拓扑构建的工作交由计算层，通过算子分片与流水线技术，增大节点间与节点内的并发度，充分利用分布式资源，以降低在多圈层遍历过程中的查询时延。

本发明通过下述技术方案实现：

一种面向图计算的拓扑查询结构，包括：

存储层，用于进行多圈层路径的遍历，每完成一个圈层的遍历，就返回该圈层需进行计算和过滤的节点集合以及边集合；

计算层，至少包含一个计算节点，计算节点用于基于查询条件计算和过滤所述存储层返回的节点集合以及边集合，通过流水线处理的方式与所述存储层并行工作；

图拓扑构建模块，设置在其中一个计算节点中，接收经过所述计算节点的计算和过滤后符合查询条件的节点集合以及边集合，并将符合查询条件的节点集合以及边集合进行组合构建成符合查询条件的图。

作为优化，所述计算节点包括：

GetData算子：用于获取所述存储层遍历圈层得到的节点集合以及节点集合中的节点对应的边集合，并将所述节点集合与边集合反序列化，同时将该次遍历圈层的节点集合中的起始节点进行过滤，将符合过滤条件的起始节点放入待处理节点队列，并将该起始节点放入图拓扑构建模块中，对于不符合过滤条件的起始节点，进行删除，对于非起始节点的节点和所有的边数据都在GetData算子内存储并保持，供计算层中的后续的算子获得属性数据；

GetEdge算子：从待处理节点队列中获取节点集合中的节点，从所述GetData算子中获取边集合的边，并输出获取的节点集合中的节点对应的边至EdgeFilter算子；