[发明专利]可执行人工智能运算的存储器芯片及其运算方法

说明书

本发明提供一种可执行人工智能运算的存储器芯片及其运算方法。存储器芯片包括存储器阵列以及人工智能引擎。存储器阵列用以存储输入特征值数据以及多个权重数据。输入特征值数据包括多个第一子集，各权重数据包括多个第二子集。人工智能引擎包括多个特征值检测器，且用以存取存储器阵列，以取得输入特征值数据以及权重数据。每个特征值检测器根据权重索引分别从对应的权重数据中选择至少一个第二子集作为选中子集，并且特征值检测器依据选中子集与对应的第一子集来执行神经网络运算。

技术领域

本发明涉及一种存储器架构，尤其涉及一种可执行人工智能(ArtificialIntelligence，AI)运算的存储器芯片及其运算方法。

背景技术

随着人工智能(Artificial Intelligence，AI)运算的演进，人工智能运算的应用范围越来越广泛，除了可用于配备高速图形处理器(Graphics Processing Unit，GPU)的云端伺服器之外，也可用于例如手机、平板电脑以及物联网(Internet of Things，IoT)装置等小型可携式电子装置上。藉此，可在装置上经由神经网络模型来进行图像(image)分析等卷积神经网络运算，提高运算的效能。

对于可携式电子装置而言，降低能耗是众所周知的一大课题。然而，在可携式电子装置上进行卷积神经网络运算会产生相当大的能耗，这是由于许多卷积神经网络的所需的参数量非常庞大。在小型可携式电子装置中，处理芯片上的快取存储器并不足以存放这么多的参数量，因此每进行一次运算这些参数都要从人工智能运算引擎外部的动态随机存取存储器(Dynamic Random Access Memory，DRAM)搬移到处理芯片内一次，导致高能耗的产生。大致来说，从外部的动态随机存取存储器搬移数据至处理芯片所产生的能耗是读取处理芯片内静态随机存取存储器(Static Random-Access Memory，SRAM)所产生的能耗的大约130倍，更是一般加法运算所产生的能耗的大约6400倍。

发明内容

本发明提供一种可执行人工智能(Artificial Intelligence，AI)运算的存储器芯片及其运算方法，可从权重(Weight)数据中仅选择重要的子集来进行神经网络运算，以减少需从人工智能引擎外部的存储器搬移的参数量。

本发明的可执行人工智能运算的存储器芯片包括存储器阵列以及人工智能引擎。存储器阵列用以存储输入特征值数据以及多个权重数据。输入特征值数据包括多个第一子集，各权重数据包括多个第二子集。人工智能引擎耦接存储器阵列，且包括多个特征值检测器。人工智能引擎用以存取存储器阵列，以取得输入特征值数据以及权重数据。每个特征值检测器根据权重索引分别从对应的权重数据中选择至少一个第二子集作为选中子集，并且特征值检测器依据选中子集与对应的第一子集来执行神经网络运算。

在本发明的一实施例中，在低能耗模式下，上述的每个特征值检测器根据权重索引分别从对应的权重数据中选择至少一个第二子集作为选中子集，以执行神经网络运算。

本发明的可执行人工智能运算的存储器芯片的运算方法包括提供输入特征值数据以及多个权重数据，输入特征值数据包括多个第一子集，各权重数据包括多个第二子集；根据权重索引分别从各权重数据中选择至少一个第二子集作为选中子集；以及依据选中子集与对应的第一子集来执行神经网络运算。

基于上述，本发明的存储器芯片及其运算方法能够以一种近似内积运算的方式，从权重数据中选择重要的子集来进行神经网络运算。藉此，由于运算所需的参数量大幅减少，可减少需从人工智能引擎外部的存储器进行搬移的参数量与次数，从而达到降低能耗的目的。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1是依照本发明一实施例的存储器芯片的方块示意图。

图2是依照本发明一实施例的可执行人工智能运算的存储器芯片的运算方法的操作示意图。