[发明专利]神经网络的构建方法和装置在审
申请号: | 202111271593.1 | 申请日: | 2021-10-29 |
公开(公告)号: | CN116090512A | 公开(公告)日: | 2023-05-09 |
发明(设计)人: | 吴佳骏;孙乘坚;杨晨阳;王坚;李榕 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/0464 | 分类号: | G06N3/0464;G06N3/084 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 时林;肖鹂 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 构建 方法 装置 | ||
1.一种神经网络的构建方法,其特征在于,包括:
根据参数生成网络生成目标神经网络的参数,所述参数生成网络的输入包括所述目标神经网络中神经元的相对标号的信息,所述神经元的相对标号表示所述神经元在第一神经网络层中的相对位置,所述第一神经网络层为所述目标神经网络中所述神经元所在的层;
根据所述目标神经网络的参数构建所述目标神经网络。
2.根据权利要求1所述的方法,其特征在于,在根据参数生成网络生成所述目标神经网络的参数之前,所述方法还包括:
获取N个所述参数生成网络;
其中,N由所述目标神经网络的参数种类M与所述目标神经网络的隐藏层数目L确定,M、L为正整数。
3.根据权利要求1或2所述的方法,其特征在于,所述目标神经网络包括第二神经网络层和第三神经网络层,所述第二神经网络层包括N1个神经元,所述第三神经网络层包括N2个神经元,所述根据所述参数生成网络生成所述目标神经网络的参数包括:
将所述第二神经网络层中的第i个神经元的相对标号以及所述第三神经网络层中的第j个神经元的相对标号输入第一参数生成网络,生成所述第二神经网络层中第i个神经元和所述第三神经网络层中第j个神经元之间连接的权重参数,所述第一参数生成网络为所述N个参数生成网络中用于生成所述第二神经网络层和所述第三神经网络层之间的权重参数的参数生成网络,其中,1≤i≤N1,1≤j≤N2。
4.根据权利要求1或2所述的方法,其特征在于,所述目标神经网络包括第二神经网络层,所述第二神经网络层包括N1个神经元,所述根据参数生成网络生成所述目标神经网络的参数包括:
将所述第二神经网络层中的第i个神经元的相对标号输入第二参数生成网络,生成所述第二神经网络层中第i个神经元上的偏置参数,所述第二参数生成网络为所述N个参数生成网络中用于生成所述第二神经网络层的偏置参数的参数生成网络,其中,1≤i≤N1。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在根据参数生成网络生成所述目标神经网络的参数之前,所述方法还包括:
根据所述目标神经网络处理任务的规模确定所述目标神经网络的隐藏层数目L和所述L个隐藏层中每个隐藏层中神经元的数目,L为正整数。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在根据参数生成网络生成所述目标神经网络的参数之前,所述方法还包括:
根据所述目标神经网络处理任务的训练数据训练所述参数生成网络。
7.根据权利要求6所述的方法,其特征在于,根据所述目标神经网络处理任务的训练数据训练所述参数生成网络包括:
将训练数据进行排序,所述训练数据为所述目标神经网络处理任务的训练数据;
将排序后的所述训练数据输入所述目标神经网络得到所述目标神经网络的输出;
根据损失函数更新所述参数生成网络的参数以训练所述参数生成网络,所述损失函数用于根据所述目标神经网络的输出以及所述训练数据的标签更新所述参数生成网络的参数。
8.根据权利要求7所述的方法,其特征在于,在根据参数生成网络生成所述目标神经网络的参数之后,所述方法还包括:
若所述目标神经网络处理任务的规模发生变化,根据所述处理任务的规模重新确定所述L个隐藏层中每个隐藏层中神经元的数目;
利用训练后的所述参数生成网络更新所述目标神经网络的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111271593.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图像处理方法、装置及存储介质
- 下一篇:一种难降解污水预处理工艺