[发明专利]在硬件中执行核心跨越在审
申请号: | 202210408223.6 | 申请日: | 2017-09-29 |
公开(公告)号: | CN114897132A | 公开(公告)日: | 2022-08-12 |
发明(设计)人: | 雷吉纳尔德·克利福德·扬;威廉·约翰·格兰德 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 周亚荣;邓聪惠 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 硬件 执行 核心 跨越 | ||
1.一种由硬件电路的矩阵计算电路执行的方法,所述矩阵计算电路被配置为处理具有大于一的特定步长的卷积神经网络层,所述方法包括:
通过对由所述硬件电路接收的输入张量和核心进行卷积来生成第一张量,其中,所述卷积利用等于一的步长执行,并且其中,所述第一张量包括(i)如果所述卷积是利用所述特定步长执行将生成的多个元素中的至少一个元素,以及(ii)如果所述卷积是利用所述特定步长执行将不会生成的至少一个附加元素;和
通过执行所述第一张量和掩蔽张量的元素乘法来生成第二张量,以将如果所述卷积是利用所述特定步长执行将不会生成的至少一个附加元素归零;和
将所述第二张量提供给池化电路,所述池化电路被配置为通过对所述第二张量执行池化以从所述第二张量中去除所归零的至少一个附加元素,来生成与具有所述特定步长的所述卷积神经网络层的输出相对应的第三张量。
2.根据权利要求1所述的方法,其中:
具有所述特定步长的所述卷积神经网络层被配置为生成具有第一数量的元素的输出张量;
所述第一张量具有大于所述第一数量的元素的第二数量的元素;
所述第二张量具有所述第二数量的元素;和
所述池化通过去除所归零的附加元素将所述第二数量的元素减少到所述第一数量的元素。
3.根据权利要求1所述的方法,其中,所述掩蔽张量在与如果利用大于一的所述步长执行卷积将生成的所述第一张量的元素相对应的每个位置处包括零,并且在所述掩蔽张量的每个其他位置处包括一。
4.根据权利要求1所述的方法,其中,所述输入张量、所述核心和所述掩蔽张量中的每一个存储在能够由所述硬件电路访问的存储器处。
5.根据权利要求1所述的方法,其中,由大于一的所述步长定义的所述第二张量的一个或多个窗口具有矩形尺寸,每个尺寸等于大于一的所述步长,并且每个窗口包括所述第二张量的不同元素。
6.根据权利要求1所述的方法,其中,具有大于一的所述步长的所述卷积神经网络层是神经网络中的第一层,并且所述输入张量是包括对应于数字图像的像素的元素的对所述数字图像的表示。
7.根据权利要求1所述的方法,其中,通过对所述输入张量和所述核心进行卷积来生成所述第一张量包括:
在所述矩阵计算电路的一个或多个cell处接收所述输入张量的元素;
在所述矩阵计算电路的所述一个或多个cell处接收所述核心的权重;
在所述矩阵计算电路的所述一个或多个cell处处理所接收的所述输入张量的元素和所接收的核心的权重。
8.根据权利要求7所述的方法,其中,所述矩阵计算电路的每个cell包括:
激活寄存器,所述激活寄存器被配置为接收所述输入张量的元素;
权重寄存器,所述权重寄存器被配置为接收所述内核的权重;和
乘法电路,所述乘法电路被配置为将所述输入张量的元素与所述核心的权重相乘。
9.根据权利要求1所述的方法,其中,通过执行所述第一张量和所述掩蔽张量的元素乘法来生成所述第二张量包括:
通过执行所述第一张量和单位矩阵的矩阵乘法来生成第一输出张量;
通过执行所述掩蔽张量和单位矩阵的矩阵乘法来生成第二输出张量;和
通过将所述第一输出张量和所述第二输出张量相乘来获得所述第二张量。
10.根据权利要求1所述的方法,其中,所述池化电路与所述矩阵计算电路分离。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210408223.6/1.html,转载请声明来源钻瓜专利网。