[发明专利]数据处理方法、装置以及系统

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置以及系统。

背景技术

矩阵相乘计算运用于诸多领域中，尤其是当下的大数据情况下，大矩阵相乘可以应用于改进搜索结果的网页排序（Page-Rank）算法，以及应用于各种基于大数据的推荐服务等。

一类传统的矩阵相乘计算方法是行列相乘方法，即用左矩阵的行乘以右矩阵的列；另一类比较流行的矩阵相乘方法是分块相乘方法，该类方法的本质依旧是传统的行列相乘方法。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明的发明人在实施现有技术时发现：对于传统的行列相乘方法，单计算节点的内存大小与存储大小限制了相乘的两个矩阵的规模，此外，传统的行列相乘方法需要左矩阵中的元素与右矩阵列中的元素一一对应，而大规模矩阵往往是稀疏矩阵，这样就造成了计算资源的极大浪费；对于流行的分块相乘方法，由于本质上还是传统的行列相乘方法，因此，仍然存在稀疏矩阵中的无效计算问题，此外，该方法在逻辑控制上也非常繁琐。

本发明实施例提供一种数据处理方法、装置以及系统，其目的在于提高矩阵相乘的可扩展性以及提高矩阵相乘的效率。

根据本发明实施例的第一方面，提供一种数据处理装置，该装置包括：

第一确定单元，其用于根据左矩阵和右矩阵中元素的位置和元素的数量，对所述左矩阵和所述右矩阵分段，以确定所述分段的分段信息；

第一复制单元，其用于根据所述分段信息，对所述左矩阵和所述右矩阵进行复制；

第一计算单元，其用于根据所述复制的结果，对所述左矩阵和所述右矩阵进行相乘计算。

根据本发明实施例的第二方面，提供一种数据处理系统，其具有如本发明实施例的第一方面所述的数据处理装置。

根据本发明实施例的第三方面，提供一种数据处理方法，该方法包括：

根据左矩阵和右矩阵中元素的位置和元素的数量，对所述左矩阵和所述右矩阵分段，以确定所述分段的分段信息；

根据所述分段信息，对所述左矩阵和所述右矩阵进行复制；

根据所述复制的结果，对所述左矩阵和所述右矩阵进行相乘计算。

本发明的有益效果在于：对左矩阵和右矩阵进行分段并复制，并根据复制的结果进行矩阵相乘计算，由此，提高了矩阵相乘的可扩展性，并提高了矩阵相乘的效率。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例1的数据处理装置的组成示意图；

图2是本发明实施例1的第一确定单元的组成示意图；

图3是本发明实施例1中预处理前文本文件的记录结构示意图；

图4是本发明实施例1中预处理后文本文件的记录结构示意图；

图5是存储于第二存储单元的左矩阵和右矩阵分段的信息的示意图；

图6是本发明实施例1的第一复制单元1的组成示意图；

图7是本发明实施例1的上一级节点向下一级节点发送控制信号的示意图；

图8是本发明实施例1的第一计算单元的组成示意图；

图9是本发明实施例1的左矩阵和右矩阵相乘的原理图；

图10是本发明实施例2的数据处理系统的构成示意框图；

图11是本发明实施例3的数据处理方法的流程图；

图12是本发明实施例3的确定分段信息的方法流程图；