[发明专利]优化的神经网络输入步长方法及设备在审
申请号: | 201810466274.8 | 申请日: | 2018-05-16 |
公开(公告)号: | CN108875908A | 公开(公告)日: | 2018-11-23 |
发明(设计)人: | 约翰·韦克菲尔德·布拉泽斯 | 申请(专利权)人: | 三星电子株式会社 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 姜长星;张川绪 |
地址: | 韩国京畿*** | 国省代码: | 韩国;KR |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 内核 卷积 权重 预定水平 神经网络输入 垂直 卷积神经网络 输出特征 硬件使用 求和 优化 | ||
1.一种用于在神经网络中的卷积层从至少一个输入特征图IFM形成至少一个输出特征图OFM的系统,所述系统包括:
权重-内核细分器,基于预定水平输入步长和预定垂直输入步长来对多组原始权重内核中的每组原始权重内核中的每个原始权重内核进行细分,以针对每组原始权重内核中的每个原始权重内核形成一组多个子内核,其中,所述多组原始权重内核对应于神经网络的当前卷积层,所述预定水平输入步长大于1,所述预定垂直输入步长大于1;
IFM细分器,基于所述预定水平输入步长和所述预定垂直输入步长来对所述至少一个IFM中的每个IFM进行细分,以针对所述至少一个IFM中的每个IFM形成多个子图,其中,所述至少一个IFM对应于当前卷积层,每个子图对应于相应的一组多个子内核中的一个子内核;
卷积器,连接到权重-内核细分器和IFM细分器,以针对每组原始权重内核使用1的输入步长来对每个子图与对应的子内核进行卷积,所述卷积器还针对每组原始权重内核将每个子图和对应的子内核的卷积结果进行求和,以形成与每组原始权重内核对应的OFM。
2.根据权利要求1所述的系统,其中,子内核中的权重包括原始权重内核中的权重,其中,基于原始权重内核中的权重的水平位置对所述预定水平输入步长取模的结果和原始权重内核中的权重的垂直位置对所述预定垂直输入步长取模的结果从原始权重内核细分子内核。
3.根据权利要求2所述的系统,其中,小于预定第一值的每个权重已经从每个原始权重内核去除。
4.根据权利要求1所述的系统,其中,所述预定水平输入步长为2,所述预定垂直输入步长为2。
5.根据权利要求1所述的系统,其中,所述预定水平输入步长为3,所述预定垂直输入步长为3。
6.根据权利要求1所述的系统,其中,所述预定水平输入步长和所述预定垂直输入步长等于预定第二值,
其中,权重-内核细分器还将所述多组原始权重内核中的每组原始权重内核中的每个原始权重内核细分为所述预定第二值的平方个,以针对每组原始权重内核中的每个原始权重内核形成所述一组多个子内核,
其中,IFM细分器还将所述至少一个IFM中的每个IFM细分为所述预定第二值的平方个,以针对所述至少一个IFM中的每个IFM形成所述多个子图。
7.根据权利要求1所述的系统,还包括:
域转换器,连接到权重-内核细分器和IFM细分器,以将每个子图的元素转换到Winograd域,
其中,卷积器连接到域转换器的输出,并针对每组原始权重内核使用1的水平输入步长和1的垂直输入步长来在Winograd域中对每个子图与对应的子内核进行卷积。
8.一种用于在神经网络中的卷积层从至少一个输入特征图IFM形成至少一个输出特征图OFM的系统,所述系统包括:
权重-内核细分器,通过基于预定水平输入步长和预定垂直输入步长来对多组原始权重内核中的每组原始权重内核中的每个原始权重内核进行细分来增加所述多组原始权重内核中的每组原始权重内核的维数,以针对每组原始权重内核中的每个原始权重内核形成一组多个子内核,其中,所述多组原始权重内核对应于神经网络的当前卷积层,每个子内核的大小小于从中细分为子内核的原始权重内核的大小,所述预定水平输入步长大于1,所述预定垂直输入步长大于1;
IFM细分器,通过基于所述预定水平输入步长和所述预定垂直输入步长来对所述至少一个IFM中的每个IFM进行细分来增加所述至少一个IFM的维数,以针对每个IFM形成多个子图,其中,所述至少一个IFM对应于当前卷积层,每个子图对应于相应的一组多个子内核中的一个子内核,每个子图的大小小于被细分的IFM的大小;
卷积器,连接到权重-内核细分器和IFM细分器,以针对每组原始权重内核使用1的输入步长来对每个子图与对应的子内核进行卷积,所述卷积器还针对每组原始权重内核将每个子图和对应的子内核的卷积结果进行求和,以形成与每组原始权重内核对应的OFM。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于三星电子株式会社,未经三星电子株式会社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810466274.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于深度学习的指纹识别方法和装置
- 下一篇:医学影像的分类方法及装置