[发明专利]一种矩阵数据元素标识连续化方法和系统

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种矩阵数据元素标识连续化方法和系统。

背景技术

在大规模并行计算中，很重要一类计算是矩阵或向量的计算。通常描述矩阵采用(Rowkey,colkey,value)的三元组(其中Rowkey,colkey分别为行标、列标，value为实际存储的数据内容)，这样可以采用稀疏的存储方式，从而减少存储空间。用户再将矩阵按照行(Rowkey)或者列(colkey)进行划分，将数据散布到多个计算结点(也即计算服务器)上，从而达到并行计算的目的。通常为了唯一标识矩阵中每个数据元素，输入的Rowkey和colkey采用位数较多(64位，128位)的签名。而在实际的计算过程中，Rowkey和colkey仅作为一个下标，并不需要很多的位数。因此为了减少节点内存存储空间，并且方便计算时顺序访问，常常要对key和colkey进行连续的id化，即将Rowkey和colkey都转换为连续的0-N的整数列。

现有技术中，存在一种对矩阵数据的的存储标识进行id化的方法是串行id化方法，即采用一个计算节点，逐个获取矩阵中的数据元素将其行标和列标进行id化，但是该种方法处理效率低，时间长。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种矩阵数据元素标识连续化装置和相应的一种矩阵数据元素标识连续化方法。

依据本发明的一个方面，提供了一种矩阵数据元素标识连续化方法，包括：

针对N个计算节点，每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素；

每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点，并接收剩余 N-1个计算节点发送的数据标识，获得由所述计算节点进行处理的最终数据标识；

每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识；

每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点。

可选的，所述每个参与计算的计算节点读取矩阵数据中被分配给该计算节点的矩阵分块的数据元素包括：

每个参与计算的计算节点读取矩阵数据中按行分块的数据元素，或者按列分块的数据元素。

可选的，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点包括：

每个参与计算的计算节点根据阈值的列标识散步规则，将所读取的数据元素中的列标识保留在本地或者发送到相应的计算节点；并接收其他N-1个计算节点发送的列标识。

可选的，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括：

每个参与计算的计算节点根据本地的行标识生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识；

每个参与计算的计算节点对本地的列标识进行去重并生成列标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识。

可选的，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括：

每个参与计算的计算节点根据第一列标识与原列标识的对应关系，将第一列标识通知给其他计算节点。

可选的，所述每个参与计算的计算节点根据预置的数据标识散步规则，将所读取的数据元素中的数据标识保留在本地或者发送到相应的计算节点 包括：

每个参与计算的计算节点根据阈值的行标识散步规则，将所读取的数据元素中的行标识保留在本地或者发送到相应的计算节点；并接收其他计算节点发送的行标识。

可选的，所述每个参与计算的计算节点根据所述最终数据标识进行连续化，获得与每个数据标识相应的第一标识包括：

每个参与计算的计算节点根据本地的列标识生成行标识向量，并对列标识向量进行连续化，获得与每个列标识相应的第一列标识；

每个参与计算的计算节点对本地的行标识进行去重并生成行标识向量，并对行标识向量进行连续化，获得与每个行标识相应的第一行标识。

可选的，所述每个参与计算的计算节点将第一标识与原数据标识的对应关系通知给其他计算节点包括：

每个参与计算的计算节点根据第一行标识与原行标识的对应关系，将第一行标识通知给其他计算节点。

可选的，所述对向量进行连续化包括：