[发明专利]张量数据分块存取的方法及装置

说明书

公开了一种张量数据分块存取的方法及装置。包括：依次读取张量数据的多个数据块；对所述数据块进行压缩，以获得压缩数据块；以及，将所述压缩数据块存储到存储器中与所述压缩数据块对应的预定存储空间中。通过该方法能够显著减少张量数据计算时对数据传输带宽的需求，从而在较低的硬件成本下高效的执行张量数据的存取。

技术领域

本申请涉及一种张量数据分块存取的方法及装置。

背景技术

对张量数据执行计算时，需要从较大容量的存储器(比如，作为内存的DDR)中读取该张量数据并存入高速存储器(比如，SRAM)，但因张量数据较大以及高速存储器存储空间的限制，需要对张量数据执行分批计算。

为节省存储空间同时降低对数据传输带宽的需求，在对张量数据执行计算之前需要先将张量数据压缩再存储至存储器中(比如，作为内存的DDR)。对张量数据执行计算时，每次计算都需要按照该张量数据压缩时的粒度从存储器中读取数据。但由于张量数据压缩时的粒度过大，远超过每次计算时需读取数据的数量，导致每次计算时无法按照计算所需数据的粒度来进行读取，而是每次计算都需要读取远超过计算所需的数据，这样，对张量数据的压缩不仅未能节省对数据传输带宽的需求，反而给有限的数据传输带宽带来了更大的负担，对存储器、高速存储器等硬件资源的性能需求更高，消耗也更大，同时还会降低整个张量数据的存取效率。因此，需要一种张量数据的分块压缩存取方案，以减少张量数据计算时对数据传输带宽的需求，从而在较低的硬件成本下高效的执行张量数据的存取。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种张量数据分块存取的方法及装置。

根据本申请的一个方面，提供了一种张量数据分块存取方法，包括：

依次读取张量数据的多个数据块；

对所述数据块进行压缩，以获得压缩数据块；以及

将所述压缩数据块存储到存储器中与所述压缩数据块对应的预定存储空间中。

根据本申请的另一个方面，还提供了一种张量数据分块存取方法，包括：

基于要读取的张量数据的至少一部分的维度坐标，确定存储器中与所述张量数据的至少一部分对应的预定存储空间；

从所述预定存储空间读取对应的压缩数据块；

对所述压缩数据块进行解压缩以获得对应的数据块；以及

基于所述数据块获得所述张量数据的所述至少一部分。

根据本申请的另一方面，还提供一种电子设备，包括：一个或多个处理器；以及，存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行上述张量数据分块存取的方法。

根据本申请的另一方面，还提供一种张量数据分块存取装置，包括：

第一读取单元，被配置为依次读取张量数据的多个数据块；

压缩单元，被配置为对所述数据块进行压缩，以获得压缩数据块；以及

存储单元，被配置为将所述压缩数据块存储到存储器中对应的预定存储空间中。

根据本申请的另一方面，还提供一种张量数据分块存取装置，包括：

存储空间确定单元，被配置为基于要读取的张量数据的至少一部分的维度坐标，确定存储器中与所述张量数据的至少一部分对应的预定存储空间；

第二读取单元，被配置为从所述预定存储空间读取对应的压缩数据块；

解压缩单元，被配置为对所述压缩数据块进行解压缩以获得对应的数据块：以及

数据获取单元，被配置为基于所述数据块获得所述张量数据的所述至少一部分。