[发明专利]一种内存优先的多模图数据存储与计算方法及系统

说明书

本发明公开了一种内存优先的多模图数据存储与计算方法及系统，应用于数据存储与计算技术领域，方法包括：采用json文件配置图数据的顶点、边和属性，以构建图数据模型；针对基于图数据模型的图数据，采用哈希算法对图数据的顶点数据进行处理以构建形成点索引，采用邻接链表构建图数据的边索引；点索引和边索引按序进行连续存储，且在初始化过程中优先加载至内存中；在接收到针对图数据的处理指令时，利用SIMD指令集对图数据进行向量化计算。通过本发明的技术方案，能够达到数据高效访问目的，充分发挥内存空间的使用效率，采用向量化并行执行方式提高了数据处理速度。

技术领域

本发明涉及数据存储与计算技术领域，尤其涉及一种内存优先的多模图数据存储与计算方法以及一种内存优先的多模图数据存储与计算系统。

背景技术

图是计算机科学研究的主要领域之一，图能够高效地解决目前存在的诸多问题，图数据的存储和计算在现代应用程序开发中具有巨大的潜力。图是基于事物关联关系的模型表达，通过将实体与关系点边化的方式将知识结构化地保存，因此具有天然的可解释性，从而备受学术界和工业界的推崇。图数据是指采用图结构存储的数据。当前，通信、互联网、电子商务、社交网络和物联网等领域中积累了大量的图数据，其规模巨大并且不断增长。

当今时代，数据的关联可以产生重要的商业价值。无论我们是想了解在线社交网络中用户之间的关系，或者电子商务中用户和商品之间的关系，还是金融网络中信贷关系，理解和分析大量高度关联数据的能力将成为企业的核心竞争力。图处理技术在这其中扮演着重要的角色。

图数据的存储和计算相关技术解决了当今宏观业务的一个大趋势：利用高度连接的数据中复杂、动态的关系来产生洞察力和竞争优势。相比关系数据，图数据是表示和查询连接数据的最佳方式。然而相比其他的数据技术，图数据相关技术研究还处于起步阶段，相关系统还较为落后，在存储成本、计算性能等方面有较大的改进空间，可以发挥较大的应用价值。

发明内容

针对上述问题，本发明提供了一种内存优先的多模图数据存储与计算方法及系统，通过配置文件构建图数据模型，并利用特定的索引方式存储图数据，用以提升计算场景的支撑效果，达到数据高效访问目的，充分发挥内存空间的使用效率，图数据的查询与计算采用向量化并行执行方式，提高了数据处理速度。

为实现上述目的，本发明提供了一种内存优先的多模图数据存储与计算方法，包括：

采用json(JavaScript Object Notation,JS对象简谱)文件配置图数据的顶点、边和属性，以构建图数据模型；

针对基于所述图数据模型的图数据，采用哈希算法对所述图数据的顶点数据进行处理以构建形成点索引，采用邻接链表构建所述图数据的边索引；

所述点索引和所述边索引按序进行连续存储，且在初始化过程中优先加载至内存中；

在接收到针对所述图数据的处理指令时，利用SIMD指令集对所述图数据进行向量化计算。

在上述技术方案中，优选地，所述图数据模型中，关联数据作为所述顶点，所述顶点之间的连线作为所述边，所述边用于表示对应两端的所述顶点之间的关联关系，所述顶点与所述边分别具有相应的属性。

在上述技术方案中，优选地，所述哈希算法中，采用散列函数对所述图数据的顶点键值转换为数组的索引，作为点索引，并采用拉链法处理散列冲突。

在上述技术方案中，优选地，所述采用邻接链表构建所述图数据的边索引具体包括：

通过所述邻接链表中的指针链接次序表示边索引的逻辑顺序，所述邻接链表由运行时动态生成的一系列节点组成，每个所述节点包括数据域和指针域，所述数据域存储数据元素，所述指针域存储指向下一节点的指针；

所述邻接链表在构建正向的所述边索引的同时，生成反向边的索引，所述反向边的索引通过哈希值与邻接链表结合方式实现。