[发明专利]存储器装置及其操作方法

说明书

本发明提供一种存储器装置及其操作方法。存储器装置包括模式配置寄存器、系统存储器阵列、指针器及包含有多个逻辑运算单元的运算电路。模式配置寄存器存储权重矩阵信息及基准地址。系统存储器阵列自基准地址起依据权重矩阵信息安排特征地图的多个特征值的存储地址。指针器存储基准地址及权重矩阵大小，以提供指针信息。运算电路依据指针信息依序或并行读取特征值。运算电路依据权重矩阵信息，将选中权重矩阵中的多个权重系数及对应的特征值并行地配置于对应的各逻辑运算单元中，并使逻辑运算单元平行地进行运算，以输出中间层特征值至处理单元。

技术领域

本发明涉及一种存储器架构，尤其涉及一种可执行人工智能(ArtificialIntelligence，AI)运算的存储器装置及其运算方法。

背景技术

随着AI运算的演进，AI运算的应用范围越来越广泛。例如，经由神经网络模型来进行图像分析、语音分析、自然语言处理等神经网络运算。因此，各技术领域持续地投入AI的研发与应用，适用于卷积神经网络(Convolutional Neural Network，CNN)及深度神经网络(Deep Neural Networks,DNN)等等的各种算法也不断推陈出新。

无论是哪一种神经网络运算所使用的算法，在隐藏层(Hidden layer)中所使用的数据量非常庞大，以达成机器学习的功能。伴随于此，处理芯片对于其外部存储器装置的数据搬移量也会大增。然而，在目前的范纽曼型架构(Von Neumann architecture)中，存储器装置是处于被动的角色，其仅提供数据读写的功能而不具有AI运算功能。因此，处理芯片与存储器装置间来回大量的数据读写便成为各种算法在提升指令周期与降低能耗上的难以突破瓶颈。

发明内容

本发明提供一种可执行AI运算的存储器装置及其操作方法，可将特征地图(Feature map)中的数据依据神经网络运算所要使用的权重矩阵(亦称为卷积核(kernel)或是滤波器(filter))安排在适当的存储地址，并搭配内建的逻辑运算单元而在存储器装置内进行卷积运算(例如乘积累加运算)。

本发明的存储器装置适用于AI运算。存储器装置包括模式配置寄存器、系统存储器阵列、指针器以及包含有多个逻辑运算单元的运算电路。模式配置寄存器存储权重矩阵信息以及基准地址。系统存储器阵列自基准地址起依据权重矩阵信息安排特征地图的多个特征值的存储地址。指针器耦接系统存储器阵列。指针器存储基准地址以及权重矩阵大小，以提供指针信息。运算电路耦接模式配置寄存器以及指针器。运算电路依据指针信息依序或并行读取多个特征值。运算电路依据权重矩阵信息，将选中权重矩阵中的多个权重系数以及对应的特征值并行地配置于对应的各逻辑运算单元中，并使逻辑运算单元平行地进行运算，以产生多个中间层特征值，并且运算电路输出中间层特征值至处理单元。

在本发明的一实施例中，上述的各逻辑运算单元包括乘积累加单元、第一缓冲器、第二缓冲器以及第三缓冲器。运算电路依据权重矩阵信息将权重系数排列配置在第一缓冲器，并且将对应的特征值排列配置在第二缓冲器，以在第三缓冲器提供对应的中间层特征值。

本发明的存储器装置的操作方法适用于具有指针器以及多个逻辑运算单元的存储器装置。操作方法包括下列步骤：存储权重矩阵信息以及基准地址；自基准地址起依据权重矩阵信息安排特征地图中的多个特征值的存储地址；将基准地址以及权重矩阵大小存储至指针器中，以提供指针信息；依据指针信息依序或并行读取多个特征值；依据权重矩阵信息，将选中权重矩阵中的多个权重系数以及对应的特征值并行地配置于对应的各逻辑运算单元中；利用逻辑运算单元平行地进行运算，以产生多个中间层特征值；以及输出中间层特征值至处理单元。

基于上述，本发明的存储器装置及其操作方法可充分利用内建的逻辑运算单元来平行地处理大量密集的矩阵运算，以分担隐藏层中所需的运算。藉此，不仅提升了神经网络运算的指令周期，还大幅降低处理芯片与存储器装置间来回搬送的数据量，从而降低能耗。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。