[发明专利]一种基于Flink的大规模矩阵并行化的计算方法

摘要

本发明公开了一种基于Flink的大规模矩阵并行化的计算方法，主要包括以下步骤：利用FlinkDataSet对大规模矩阵数据进行存储，在单个计算机上对矩阵进行计算时采用BLAS对矩阵计算进行加速；设计并实现了矩阵的相加、相减等一系列矩阵操作；设计了并行化的方案并结合Flink和算法的特点设计了三种优化手段提升不同形状的矩阵相乘运算的性能，包括：基于方块划分方式的矩阵分块相乘、基于CARMA划分方式的矩阵分块相乘和基于广播方式的矩阵分块相乘。本发明解决了传统单个计算机情形下大规模矩阵计算开销大甚至无法计算的问题，具有很好地扩展性。

主权项

一种基于Flink的大规模矩阵并行化的计算方法，包括以下步骤：(1)利用FlinkDataSet对大规模矩阵数据进行存储，并且在单个计算机上对矩阵进行计算时采用BLAS对矩阵计算进行加速；(2)利用FlinkDataSet的连接操作，对两个矩阵对应位置的元素进行运算，从而实现了大规模矩阵的相加、相减、标量运算；(3)对于矩阵的相乘计算，采用分布式矩阵分块相乘算法实现，并针对三种不同形状的矩阵采用了相应的优化算法来优化矩阵的运算：对于方形矩阵或者近似方形的矩阵时，采用基于方块划分方式的矩阵分块相乘算法；对于维度规模相差较大的两个矩阵，采用基于标准的CARMA划分方式的矩阵分块相乘算法；对于两个矩阵中有一个较小的矩阵时，则采用基于广播方式的矩阵分块相乘算法；(4)对于矩阵的求逆计算，通过改进的Gauss‑Jordan消元求逆算法每次迭代只使用一列向量来更新矩阵的缺点，使得矩阵求逆过程中一次迭代可以用多列向量来更新整个矩阵，从而减少了矩阵求逆算法的迭代次数。