[发明专利]计算机可读记录介质、机器学习方法以及信息处理装置在审
申请号: | 202110901356.2 | 申请日: | 2021-08-06 |
公开(公告)号: | CN114444651A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 甲斐雄高;笠置明彦;原靖;檀上匠 | 申请(专利权)人: | 富士通株式会社 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘雯鑫;杨林森 |
地址: | 日本神*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算机 可读 记录 介质 机器 学习方法 以及 信息处理 装置 | ||
1.一种存储机器学习程序的非暂态计算机可读记录介质,所述机器学习程序用于使计算机执行处理,所述处理包括:
在机器学习模型的机器学习时计算关于包括在所述机器学习模型中的多个层的误差梯度,所述多个层包括所述机器学习模型的输入层;
将其中所述误差梯度小于阈值的层中位于从所述输入层的位置到预定位置的范围内的层指定为要抑制的层;以及
抑制针对所述要抑制的层的机器学习。
2.根据权利要求1所述的存储机器学习程序的非暂态计算机可读记录介质,所述处理还包括:
将所述多个层从所述输入层开始按顺序划分成多个块,
其中,所述计算误差梯度针对所述多个块中的每个块计算属于所述块中的每个块的每个层中的误差梯度的平均值,并且
包括抑制针对属于其中所述误差梯度的平均值小于阈值的块中靠近所述输入层的块的每个层的机器学习。
3.根据权利要求1所述的存储机器学习程序的非暂态计算机可读记录介质,所述处理还包括:
将所述多个层从所述输入层开始按顺序划分成多个块,
其中,所述计算误差梯度针对所述多个块中的每个块计算关于在属于所述块的层中距所述输入层最远的位置处的层的误差梯度,并且
包括抑制针对属于其中所述误差梯度小于阈值的块中靠近所述输入层的块的每个层的机器学习。
4.根据权利要求2或3所述的存储机器学习程序的非暂态计算机可读记录介质,
其中,所述划分所述多个层指定所述多个层中的每个层的元素大小,并且
包括以下述这样的方式将所述多个层划分成所述多个块:其中所述元素大小落入预定范围内的每个层构成一个块。
5.根据权利要求2或3所述的存储机器学习程序的非暂态计算机可读记录介质,
其中,所述划分所述多个层包括以下述这样的方式将所述多个层划分成所述多个块:交替地设置在所述多个层中的卷积层和批量归一化层被设置为对,并且所述对不在不同块上延伸。
6.根据权利要求2或3所述的存储机器学习程序的非暂态计算机可读记录介质,
其中,所述划分所述多个层划分成所述多个块,所述层不包括所述机器学习模型中包括的多个层中的输出层、全连接层和位于所述全连接层前面的两个层。
7.根据权利要求2或3所述的存储机器学习程序的非暂态计算机可读记录介质,
其中,所述抑制所述机器学习将要抑制的块划分成多个子块,并且
包括以预定迭代间隔逐步抑制所述多个子块的机器学习。
8.根据权利要求1至3中任一项所述的存储机器学习程序的非暂态计算机可读记录介质,
其中,所述抑制所述机器学习包括抑制以下机器学习:其中继续针对所述要抑制的层的机器学习直到在所述机器学习的初始阶段中执行的预热处理完成并且在所述预热处理完成之后抑制针对所述要抑制的层的机器学习。
9.一种计算机实现的方法,包括:
在机器学习模型的机器学习时计算关于包括在所述机器学习模型中的多个层的误差梯度,所述多个层包括所述机器学习模型的输入层;
将其中所述误差梯度小于阈值的层中位于从所述输入层的位置到预定位置的范围内的层指定为要抑制的层;以及
抑制针对所述要抑制的层的机器学习。
10.一种信息处理装置,包括:
计算单元,被配置成在机器学习模型的机器学习时计算关于包括在所述机器学习模型中的多个层的误差梯度,所述多个层包括所述机器学习模型的输入层;
指定单元,被配置成将其中所述误差梯度小于阈值的层中位于从所述输入层的位置到预定位置的范围内的层指定为要抑制的层;以及
抑制单元,被配置成抑制针对所述要抑制的层的机器学习。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于富士通株式会社,未经富士通株式会社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110901356.2/1.html,转载请声明来源钻瓜专利网。