[发明专利]基于双向位图的稀疏矩阵压缩存储方法

说明书

本发明公开了一种双向位图的稀疏矩阵压缩存储方法，目的是减少存储空间。技术方案为：仅保留存储一个或者多个顶点或边的起始位置来压缩图的邻接矩阵按行压缩存储数据结构，在行列两个方向使用位图数组来辅助识别顶点的边信息。具体方法包括：读取图的邻接矩阵按行压缩存储数据结构；构建改进型位数组；计算偏移量；构建行方向位图数组，由改进型位数组和行方向位图数组压缩存储行数组；计算列数组连续片段长度并构建连续片段二元组集合；构建简化列数组和列方向位图数组，由简化列数组和列方向位图数组压缩存储列数组。可以将图数据存储空间在行方向位图数组的基础上进一步压缩，极大规模扩大图的应用规模，优化采用图结构的应用程序的性能。

技术领域

本发明涉及大数据存储方法，尤指基于双向位图的稀疏矩阵压缩存储方法。

背景技术

图结构是大数据应用中最重要的数据结构之一，在众多领域中得到广泛的应用，如社交媒体、生物信息学、天体物理学、人工智能、数据挖掘、智能推荐、自然灾害预测等等。这些应用的共同特点是数据量大和结构复杂，往往可以达到数十亿条边和数万亿个节点，这导致在数据存储和计算力方面有更高的需求。超级计算机主要用于数值计算，大多数高性能计算机的基准测试都是以计算力作为衡量标准，如Top 500采用的HPL(HighPerformance Linpack)。在数据密集型应用广泛兴起的大数据时代，Graph 500成为了一个新的超级计算机计算力的基准测试程序。Graph 500作为Top500的重要补充，以每秒遍历图中的边的数量(TEPS)来衡量超级计算机的大数据处理能力。

Graph500中图遍历采用宽度优先搜索即BFS(breadth-first search)算法。宽度优先搜索算法可描述为：已知图G＝(V,E)和一个源顶点s，宽度优先搜索将探寻G的所有边，从而发现s所能到达的所有顶点，并计算s到所有这些顶点的距离(最少边数)，该算法同时能生成一棵根为s且包括所有可达顶点的宽度优先树，对从s可达的任意顶点v，宽度优先树中从s到v的路径对应于图G中从s到v的最短路径。

图G＝(V,E)包含顶点集合V和边集合E，通常使用v_i表示V中编号为i的顶点，使用顶点对(v_i,v_j)表示顶点i到顶点j的边，(v_i,v_j)∈E，0≤i≤N_V-1,0≤j≤N_V-1，N_V为V中顶点个数。G通常用邻接矩阵A表示，A中的第i行A_i为邻接表。如图1所示，形如图1(a)的图G可用图1(b)的邻接矩阵A表示，A中第i行第j列的元素A_ij表示边(v_i,v_j)。通常使用1表示存在这样的边，0表示不存在这样的边。