[发明专利]神经网络参数部署方法、AI集成芯片及其相关装置在审
申请号: | 202110919731.6 | 申请日: | 2021-08-11 |
公开(公告)号: | CN115705301A | 公开(公告)日: | 2023-02-17 |
发明(设计)人: | 骆华敏 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F12/14 | 分类号: | G06F12/14;G06F21/60;G06N3/063 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 饶智彬;常云敏 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 参数 部署 方法 ai 集成 芯片 及其 相关 装置 | ||
1.一种人工智能AI计算装置,包括AI集成芯片及片外存储器,所述AI集成芯片包括中央处理单元CPU、神经网络处理单元NPU及第一片内存储单元,其特征在于,所述片外存储器用于存储与所述NPU关联的第一神经网络代码及第一权重参数;
所述AI集成芯片还包括第二片内存储单元,所述第二片内存储单元用于存储与所述NPU关联的第二神经网络代码及第二权重参数,所述NPU用于基于所述第一神经网络代码、所述第二神经网络代码、所述第一权重参数及所述第二权重参数对指定数据进行处理;
其中,所述第二片内存储单元设置有仅允许所述NPU读取的权限,及仅允许所述CPU写入的权限。
2.如权利要求1所述的AI计算装置,其特征在于,所述AI集成芯片还包括第三片内存储单元,所述第三片内存储单元用于缓存从所述片外存储器读取的所述第一神经网络代码及所述第一权重参数的至少部分。
3.如权利要求1或2所述的AI计算装置,其特征在于,所述CPU还用于接收密文数据,并将所述密文数据写入至所述第二片内存储单元,所述密文数据为对所述第二神经网络代码及所述第二权重参数进行加密得到的。
4.如权利要求3所述的AI计算装置,其特征在于,所述AI集成芯片还包括密钥存储单元及解密单元,解密密钥在所述密文数据写入至所述第二片内存储单元之前存储至所述密钥存储单元,所述密钥存储单元设置有仅允许所述解密单元读取的权限,所述NPU还用于从所述第二片内存储单元读取所述密文数据,并调用所述解密单元使用所述解密密钥对所述密文数据进行解密,得到所述第二神经网络代码及所述第二权重参数。
5.如权利要求1或2所述的AI计算装置,其特征在于,所述AI集成芯片还包括密钥存储单元及解密单元,所述密钥存储单元用于存储解密密钥,所述密钥存储单元设置有仅允许所述解密单元读取的权限,所述CPU用于接收密文数据,并调用所述解密单元使用所述解密密钥对所述密文数据进行解密,所述密文数据为对所述第二神经网络代码及所述第二权重参数进行加密得到的,所述CPU还用于将解密得到的第二神经网络代码及第二权重参数写入至所述第二片内存储单元。
6.如权利要求4或5所述的AI计算装置,其特征在于,所述密钥存储单元包括一次性可编程OTP器件。
7.如权利要求1至6任一项所述的AI计算装置,其特征在于,所述片外存储器还用于存储所述指定数据及所述指定数据的处理结果,所述第一片内存储单元用于缓存从所述片外存储器读取的所述指定数据。
8.如权利要求1至7中任意一项所述的AI计算装置,其特征在于,所述第一片内存储单元包括静态随机访问存储器SRAM,所述片外存储器包括动态随机访问存储器DRAM,所述第二片内存储单元包括嵌入式闪存eFalsh、嵌入式非易失性存储器eNVM、磁性随机访问存储器MRAM或阻性随机访问存储器RRAM中的任意一种,所述第三片内存储单元包括eFalsh、eNVM、MRAM或RRAM中的任意一种。
9.一种人工智能AI集成芯片,包括中央处理单元CPU、神经网络处理单元NPU及第一片内存储单元,其特征在于,所述AI集成芯片还包括第二片内存储单元,所述第二片内存储单元用于存储与所述NPU关联的神经网络代码及权重参数,所述NPU用于基于所述神经网络代码及所述权重参数对指定数据进行处理;
其中,所述第二片内存储单元包括嵌入式闪存eFalsh、嵌入式非易失性存储器eNVM、磁性随机访问存储器MRAM或阻性随机访问存储器RRAM中的任意一种。
10.如权利要求9所述的AI集成芯片,其特征在于,所述第二片内存储单元仅设置一个读端口与一个写端口,所述读端口电连接于所述NPU,所述写端口电连接于所述CPU。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110919731.6/1.html,转载请声明来源钻瓜专利网。