[发明专利]基于磁性缓存的存内计算电路芯片和计算装置

说明书

本公开实施例公开了一种基于磁性缓存的存内计算电路，其中，该电路包括：至少一个磁性缓存单元、至少一个存内计算单元、定时器；其中，至少一个磁性缓存单元中的磁性缓存单元，用于在对应的数据保持时间内，缓存对应的存内计算单元输出的数据作为待处理数据；定时器，用于对至少一个磁性缓存单元分别设定数据保持时间；至少一个存内计算单元中的存内计算单元，用于从对应的磁性缓存单元提取待处理数据进行计算，并向其他磁性缓存单元输出计算后的数据。本公开实施例实现了灵活地调整各种存内计算场景下磁性缓存单元的数据保持时间，实现了较低功耗下为存内计算所需的数据提供较高容量的缓存。

技术领域

本公开涉及计算机技术领域，尤其是一种基于磁性缓存的存内计算电路、芯片和计算装置。

背景技术

随着人工智能(Artificial Intelligent,AI)和物联网(Internet of Things,IoT)应用的快速发展，中央处理器(CPU)和存储电路(Memory)之间需要经由有限的总线带宽进行频繁且大量的数据传输，这也被公认为目前传统的冯诺依曼架构体系中的最大的瓶颈。深度神经网络作为目前在人工智能领域中应用于图像识别的最成功的算法之一，它需要对输入数据和权重数据做大量的读写，乘法和加法运算。这也意味着需要更大数目的数据传输和更多的能量消耗。值得注意的是，在不同的AI任务下，读写数据所消耗的能量远远大于计算数据的能量。

为了打破冯诺依曼架构中的这一瓶颈，存算一体架构被提出。这种系统架构不仅保留了存储电路本身所具有的存储和读写功能，同时可以支持不同的逻辑或者乘加运算，从而在很大程度上减少了中央处理器和存储器电路之间频繁的总线交互，也进一步降低了大量的数据搬移量，提升了系统的能耗效率。在目前的基于存算一体架构的深度神经网络处理器中，权重数据(weight)可以不经过读取就直接进行MAC(乘加，Multiplication andComputation,MAC)运算，并直接得出最终的乘加结果。

虽然可以避免权重数据的读取，但是输入和输出数据(input/outputactivation)仍旧需要对片上缓冲(buffer)进行访存。由于存内计算的计算特点，对于片上缓冲提出了多方面的需求：第一，为了避免频繁的片外(off-chip)访存，通常需要设计足够容量的片上缓冲来存储activation数据；第二，片上缓冲需要提供足够高的访存带宽来匹配存内计算单元的计算吞吐；第三，片上缓冲需要尽量降低访存的能耗，从而提升存内计算的整体计算能效。

发明内容

本公开的实施例提供了一种基于磁性缓存的存内计算电路，该电路包括：至少一个磁性缓存单元、至少一个存内计算单元、定时器；其中，至少一个磁性缓存单元中的磁性缓存单元，用于在对应的数据保持时间内，缓存对应的存内计算单元输出的数据作为待处理数据；定时器，用于对至少一个磁性缓存单元分别设定数据保持时间，其中，对于至少一个磁性缓存单元中的磁性缓存单元，该磁性缓存单元对应的数据保持时间预先基于该磁性缓存单元对应的存内计算单元处理的待处理数据的数据量和该磁性缓存单元对应的存内计算单元的算力吞吐率得到；至少一个存内计算单元中的存内计算单元，用于从对应的磁性缓存单元提取待处理数据进行计算，并向其他磁性缓存单元输出计算后的数据。

在一些实施例中，定时器包括至少一个计数阈值寄存器和至少一个计数器，至少一个计数器、至少一个计数阈值寄存器、至少一个磁性缓存单元一一对应；对于至少一个计数阈值寄存器中的计数阈值寄存器，该计数阈值寄存器用于存储预先设置的计数阈值，该计数阈值寄存器对应的计数器的计数值由初始计数值到计数阈值经过的时间为该计数阈值单元对应的磁性缓存单元的数据保持时间。

在一些实施例中，对于至少一个磁性缓存单元中的磁性缓存单元，该磁性缓存单元对应于至少一个存内计算单元中的一个在先存内计算单元和一个在后存内计算单元，该磁性缓存单元用于存储在先存内输出的数据作为待处理数据，在后存内计算单元用于在对应的数据保持时间后，从该磁性缓存单元提取待处理数据并对待处理数据进行计算。