[发明专利]神经网络参数部署方法、AI集成芯片及其相关装置

说明书

本申请实施例提供了一种AI计算装置，涉及终端领域。AI计算装置包括AI集成芯片及片外存储器，AI集成芯片包括CPU、NPU、第一片内存储单元及第二片内存储单元，第二片内存储单元设置有仅允许NPU读取的权限及仅允许CPU写入的权限。片外存储器存储与NPU关联的第一神经网络代码及第一权重参数，第二片内存储单元存储与NPU关联的第二神经网络代码及第二权重参数。本申请实施例还提供一种AI集成芯片、神经网络参数部署方法、电子设备及计算机可读存储介质。本申请将相对重要的第二神经网络代码和第二权重参数存储在AI芯片内部，提高第二神经网络代码和第二权重参数的安全等级，且可降低NPU访问片外存储器的带宽需求。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络参数部署方法、人工智能(Artificial Intelligence，AI)集成芯片、AI计算装置、电子设备及计算机可读存储介质。

背景技术

随着信息技术与AI技术的演进，AI计算逐渐从云端扩展到终端，具备AI计算能力的智能终端逐渐在智能手机、公共安全、汽车辅助驾驶、智慧家庭等领域普及。然而现有的AI计算所需要的高算力引起的高成本、性能瓶颈、功耗瓶颈、安全隐患等始终是智能终端设备面临的挑战。

如图1所示，现有的AI计算系统一般包括神经网络处理单元(Neural-networkProcessing Unit，NPU)、中央处理单元(Central Processing Unit，CPU)、片内静态随机访问存储器(Static Random Access Memory，SRAM)及片外动态随机访问存储器(DynamicRandom Access Memory，DRAM)。DRAM用于存储NPU计算所需要的软件代码，权重参数、待处理数据等。NPU的软件代码和权重参数具有极高的商业价值，存储在片外DRAM很难进行保护，容易被破解。

发明内容

有鉴于此，有必要提供一种神经网络参数部署方法、AI集成芯片、AI计算装置、电子设备及计算机可读存储介质，其可提升NPU软件代码和权重参数的安全等级。

本申请实施例第一方面公开了一种AI计算装置，AI计算装置包括AI集成芯片及片外存储器。AI集成芯片包括CPU、NPU、第一片内存储单元及第二片内存储单元。片外存储器用于存储与NPU关联的第一神经网络代码及第一权重参数。第二片内存储单元用于存储与NPU关联的第二神经网络代码及第二权重参数，NPU用于基于第一神经网络代码、第二神经网络代码、第一权重参数及第二权重参数对指定数据进行处理。第二片内存储单元设置有仅允许NPU读取的权限，及仅允许CPU写入的权限。

通过采用该技术方案，增设第二片内存储单元来存储与NPU关联的第二神经网络代码及第二权重参数，例如第二片内存储单元可以是嵌入式非易失存储器，将相对重要的第二神经网络代码与第二权重参数存储在第二片内存储单元，将相对不重要的第一神经网络代码与第一权重参数存储在片外存储器，可提升第二神经网络代码与第二权重参数的安全等级，NPU可从第二片内存储单元读取第二神经网络代码与第二权重参数，可降低NPU访问片外存储器的带宽需求，同时将第二片内存储单元设置为仅允许NPU读取、CPU写入，可以进一步提升第二神经网络代码与第二权重参数的安全等级。

在一些实施例中，AI集成芯片还包括第三片内存储单元，第三片内存储单元用于缓存从片外存储器读取的第一神经网络代码及第一权重参数的至少部分。

通过采用该技术方案，增设第三片内存储单元来缓存NPU从片外存储器读取的第一神经网络代码及第一权重参数，例如第三片内存储器可以是嵌入式非易失存储器，相比NPU从片外存储器读取第一神经网络代码及第一权重参数的速度，NPU从第三片内存储单元读取第一神经网络代码及第一权重参数的速度更快，可以提升NPU的数据处理效率。

在一些实施例中，CPU还用于接收密文数据，并将密文数据写入至第二片内存储单元，密文数据为对第二神经网络代码及第二权重参数进行加密得到的。