[发明专利]Winograd卷积运算方法及相关产品在审
申请号: | 201911061089.1 | 申请日: | 2019-11-01 |
公开(公告)号: | CN112784951A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06K9/62 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杜叶蕊;臧建明 |
地址: | 100190 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | winograd 卷积 运算 方法 相关 产品 | ||
1.一种Winograd卷积运算方法,其特征在于,所述方法包括:
在基于预配置的Winograd卷积算法对神经网络进行训练的过程中,分别将所述神经网络中第j层的反向输入梯度以及第j层的正向输入特征数据的正变换运算拆解为求和运算,以基于求和运算获取所述第j层的反向输入梯度正变换运算的变换结果,以及第j层的正向输入特征数据正变换运算的变换结果;
对第j层的反向输入梯度正变换运算的变换结果和第j层的正向输入特征数据正变换运算的变换结果执行对位乘法运算,获得第一乘法运算结果;
将第一乘法运算结果的逆变换运算拆解为求和运算,并将求和运算所得结果作为第j层的权值差;
根据所述第j层的权值差完成所述神经网络的训练。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在基于预配置的Winograd卷积算法对神经网络进行训练的过程中,分别将第j层的反向输入梯度以及第j层的权值数据的正变换运算拆解为求和运算,以基于求和运算获取所述第j层的反向输入梯度正变换运算的变换结果,以及所述第j层的权值数据正变换运算的变换结果;
对所述第j层的反向输入梯度正变换运算的变换结果和所述第j层的权值数据正变换运算的变换结果执行对位乘法运算,获得第二乘法运算结果;
将第二乘法运算结果的逆变换运算拆解为求和运算,并将求和运算所得结果作为第j层的反向输出梯度。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
基于所述预配置的Winograd算法,分别将第i层的正向输入特征数据以及第i层的权值数据的正变换运算拆解为求和运算,以获取所述第i层的正向输入特征数据正变换运算的变换结果,以及所述第i层的权值数据正变换运算的变换结果;
对所述第i层的正向输入特征数据正变换运算的变换结果和所述第i层的权值数据正变换运算的变换结果执行对位乘法运算,获得第三乘法运算结果;
对第三乘法运算结果的逆变换运算拆解为求和运算,并将求和运算所得结果作为第i层的正向输出特征数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,将正变换运算或逆变换运算拆解为求和运算的处理方式为:将目标数据拆解为与所述目标数据对应的多个子张量,并对所述多个子张量进行变换运算并求和,根据求和运算的结果得到所述目标数据对应的变换结果;
所述目标数据包括如下一种:反向输入梯度、正向输入特征数据、权值数据、第一乘法运算结果、第二乘法运算结果和第三乘法运算结果。
5.根据权利要求4所述的方法,其特征在于,所述目标数据对应的多个子张量之和为所述目标数据;
所述多个子张量的个数与所述目标数据中非0元素的个数相同,每个所述子张量中有单个非0元素,且在所述子张量中的非0元素与在所述目标数据中对应位置的非0元素相同。
6.根据权利要求4或5所述的方法,其特征在于,所述对所述多个子张量进行变换运算并求和,根据求和运算的结果得到所述目标数据对应的变换结果,包括:
确定目标数据的各子张量对应的元子张量,其中,所述元子张量是将所述子张量的非0元素置为1的张量;
获取各子张量对应的元子张量的变换结果;
将所述子张量中非0的元素值作为系数乘以对应的元子张量的变换结果,得到所述子张量的变换结果;
将多个子张量的变换结果相加得到所述根据求和运算的结果得到对所述多个子张量进行变换运算并求和,根据求和运算的结果得到对所述目标数据进行变换运算的变换结果。
7.根据权利要求6所述的方法,其特征在于,所述获取各子张量对应的元子张量的变换结果,包括:
对于每一个所述子张量,将所述子张量对应的元子张量左边乘以左乘矩阵、右边乘以右乘矩阵,得到所述元子张量的变换结果,其中,所述左乘矩阵和所述右乘矩阵都是由所述子张量的规模以及变换类型确定的,其中所述变换类型包括正变换运算的变换类型和逆变换运算的变换类型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911061089.1/1.html,转载请声明来源钻瓜专利网。