[发明专利]数据读取方法、装置、介质和计算设备

说明书

本发明的实施方式提供了一种数据读取方法、装置、介质和计算设备。该方法应用于端侧人工智能设备，并且包括：根据待相乘的M×K矩阵和K×N矩阵的矩阵信息，确定M×K矩阵和K×N矩阵是否为扁平矩阵；当M×K矩阵和K×N矩阵中的一个矩阵为扁平矩阵时，从存储器中读取扁平矩阵的元素参与矩阵乘法运算，并且根据M×K矩阵和K×N矩阵中的另一个非扁平矩阵的顺序存储方式来从存储器中直接读取连续存储的另一个非扁平矩阵的元素参与矩阵乘法运算，无需对非扁平矩阵进行重新排序。在参与乘法运算的两个矩阵中存在一个扁平矩阵的情况下，通过对两个矩阵中的非扁平矩阵的元素直接读取，使得处理器在进行乘法运算时效率提高。

技术领域

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及一种数据读取方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

随着人工智能的发展，端侧人工智能由于对用户隐私保护更好，不依赖网络连接，方便个性化定制等特点，是未来人工智能发展的主要趋势。在端侧人工智能的底层运算中，矩阵乘法的占比最高。提高矩阵乘法运算效率，对于端侧人工智能的落地具有重要意义。

对于矩阵乘法运算，每个矩阵的元素在运算前采用行主序或列主序的存储方式存放于存储器中。无论是行主序还是列主序，在不按照存储顺序读取元素时都会出现跳跃访问，这种跳跃的情况会大大降低处理器访问存储器的效率。为了防止跳跃访问，通常在计算前或计算过程中对参与乘法运算的两个矩阵进行重新排序。

然而，对于端侧人工智能常见的扁平矩阵乘法，这种对参与乘法运算的两个矩阵重新排序的开销超过收益，导致乘法运算效率非常低。

发明内容

为此，非常需要一种改进的数据读取方法，以对参与乘法运算的两个矩阵选择性地重新排序，从而提高乘法运算效率。

在本上下文中，本发明的实施方式期望提供一种数据读取方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种用于端侧人工智能设备的语音识别、文字识别或机器翻译的推理的数据读取方法。该方法包括：根据待相乘的M×K矩阵和K×N矩阵的矩阵信息，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵，其中M、K和N为正整数；当所述M×K矩阵和所述K×N矩阵中的一个矩阵为扁平矩阵时，从存储器中读取所述扁平矩阵的元素参与矩阵乘法运算，并且根据所述M×K矩阵和所述K×N矩阵中的另一个非扁平矩阵的顺序存储方式来从存储器中直接读取连续存储的所述另一个非扁平矩阵的元素参与所述矩阵乘法运算，无需对非扁平矩阵进行重新排序。

在本发明的一个实施例中，所述根据矩阵信息，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵包括：根据M与K的比值以及N与K的比值，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵。

在本发明的一实施例中，所述根据M与K的比值以及N与K的比值，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵包括：当M与K的比值小于或等于第一预设阈值时，所述M×K矩阵为扁平矩阵；当N与K的比值小于或等于第一预设阈值时，所述K×N矩阵为扁平矩阵。

在本发明的一个实施例中，所述根据矩阵信息，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵包括：根据所述M×K矩阵和所述K×N矩阵的存储方式、根据M与K的比值以及N与K的比值，确定所述M×K矩阵和所述K×N矩阵是否为扁平矩阵。