[发明专利]用于机器学习的增强的存储器设备架构

说明书

本发明题为“用于机器学习的增强的存储器设备架构”。本发明描述了通过处理存储器设备内部的数据实现的改进的存储器架构的实施方案。在一些实施方案中，存储器设备可在非易失性存储器和/或独立DRAM存储器中存储神经网络层，诸如收缩流引擎。主机系统的中央处理单元(CPU)可将神经网络的执行委托给存储器设备。有利的是，存储器设备中的神经网络处理可为可扩展的，从而具有处理大量数据的能力。

以引用方式并入的任何优先申请

在申请数据表中国外或国内优先权要求被识别的任何和所有申请，如同与本申请一起提交，遵照37CFR 1.57，以引用方式并入本文。

技术领域

本公开涉及存储器设备架构，并且更具体地讲，涉及经由改进机器学习来进行存储器设备内部的数据处理。

背景技术

现代计算系统经常利用机器学习技术，诸如神经网络。这些技术可在大数据集上操作，因此可能需要大量存储空间。然而，当前存储器架构不允许大数据分析的可扩展性。本公开解决了这些和其他问题。

附图说明

权利要求书中描述的创新各自具有若干方面，这些方面中没有单个方面对其期望的属性单独地负责。在不限制权利要求书的范围的情况下，现在将简要描述本公开的一些显著特征。

图1A和图1B是根据现有技术的在DRAM和持久存储装置之间传输的持久数据的示例。

图2是根据现有技术的通过人工智能模型分析数据的示例。

图3是根据一些实施方案的用于中央处理单元(CPU)操作和数据处理单元(DPU)操作的非易失性存储器的示例。

图4是根据一些实施方案的示出CPU与智能存储器之间的通信的示例性系统。

图5是根据一些实施方案的用于在存储在非易失性存储器中的神经网络中处理数据的示例性系统。

图6是根据一些实施方案的存储在非易失性存储器中的神经网络层中的数据处理的示例。

图7A是根据一些实施方案的再利用针对多个神经网络的非易失性存储器的示例。

图7B是根据一些实施方案的用于再利用针对多个神经网络的非易失性存储器的过程的示例。

图8是根据一些实施方案的被配置在非易失性存储器中的多个神经网络的示例。

图9A示出了根据一些实施方案的CPU和控制器架构的示例。

图9B示出了根据一些实施方案的用于执行一个或多个神经网络操作的过程的示例。

图10示出了根据一些实施方案的CPU将数据处理委托给神经网络的示例。

具体实施方式

虽然描述了某些实施方案，但是这些实施方案仅作为示例呈现，并且不旨在限制保护范围。实际上，本文描述的新颖方法和系统可以各种其他形式体现。此外，在不脱离保护范围的情况下，可以对本文描述的方法和系统的形式进行各种省略、替换和改变。

本公开的各种实施方案提供了一种被配置为执行神经网络计算的存储器设备(或存储设备)，该设备包括：易失性存储器；非易失性存储器，该非易失性存储器被配置为存储一个或多个神经网络层；以及控制器，该控制器被配置为：响应于从主机系统接收的至少一个数据传输命令，将数据存储在易失性存储器或非易失性存储器中的至少一者中，以及从易失性存储器或非易失性存储器中的至少一者检索数据；通过将一个或多个神经网络层应用于从主机系统接收的输入数据，在非易失性存储器中执行神经网络计算；以及将神经网络计算的结果存储在易失性存储器中以供主机系统检索。

在前述段落或本文任何段落的存储器设备中，可将输入数据存储在易失性存储器中。