[发明专利]神经网络结构搜索、模型构建方法、电子设备和存储介质在审
申请号: | 202011346367.0 | 申请日: | 2020-11-25 |
公开(公告)号: | CN114611679A | 公开(公告)日: | 2022-06-10 |
发明(设计)人: | 蒋阳;豆泽阳;庞磊;赵丛 | 申请(专利权)人: | 共达地创新技术(深圳)有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06K9/62;G06N3/04 |
代理公司: | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人: | 张传义 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 结构 搜索 模型 构建 方法 电子设备 存储 介质 | ||
1.一种神经网络结构搜索方法,其特征在于,包括:
获取神经网络的搜索空间;
基于随机搜索策略,在所述搜索空间中搜索得到网络结构;
根据所述搜索空间对应的共享权重,确定所述网络结构的权重参数,得到权重模型;
根据搜索样本集,对所述权重模型进行微调,得到微调模型;
在多个所述微调模型中确定目标AI模型。
2.根据权利要求1所述的神经网络结构搜索方法,其特征在于,所述在多个所述微调模型中确定目标AI模型,包括:
根据验证样本集,确定多个所述微调模型各自的第一评价参数;
根据所述第一评价参数,在多个所述微调模型中确定若干候选模型;
基于训练样本集,对各所述候选模型进行训练,得到各所述候选模型对应的训练模型;
基于测试样本集,确定各所述训练模型的第二评价参数;
根据所述第二评价参数,在所述若干候选模型对应的训练模型中确定目标AI模型。
3.根据权利要求2所述的神经网络结构搜索方法,其特征在于,所述微调的周期低于所述训练的周期,和/或用于所述微调的搜索样本集小于用于所述训练的训练样本集。
4.根据权利要求2所述的神经网络结构搜索方法,其特征在于,所述基于随机搜索策略,在所述搜索空间中搜索得到网络结构,包括:
基于随机搜索策略,根据采样分布在所述搜索空间中搜索得到网络结构;
所述方法还包括:
根据所述微调模型对应的网络结构和所述微调模型的第一评价参数,更新所述采样分布,直至根据所述采样分布连续预设次数搜索得到网络结构的差异满足预设条件。
5.根据权利要求1所述的神经网络结构搜索方法,其特征在于,所述搜索空间包括搜索空间图,所述搜索空间图包括多个网络单元和所述多个网络单元之间的连接;
所述在所述搜索空间中搜索得到网络结构,包括:
在所述搜索空间图中搜索,确定包括若干网络单元和所述若干网络单元间连接的有向路径,根据所述有向路径确定所述网络结构。
6.根据权利要求1所述的神经网络结构搜索方法,其特征在于,所述基于随机搜索策略,在所述搜索空间中搜索得到网络结构,包括:
基于随机初始化的搜索控制网络,在所述搜索空间中搜索得到网络结构。
7.根据权利要求6所述的神经网络结构搜索方法,其特征在于,所述获取神经网络的搜索空间,包括:
基于随机初始化的搜索控制网络,对样本神经网络进行随机采样;
根据随机采样的结果,确定所述搜索空间和所述搜索空间对应的共享权重。
8.根据权利要求1-7中任一项所述的神经网络结构搜索方法,其特征在于,所述方法还包括:
获取预设任务的数据集;
基于随机训练策略,根据所述数据集对所述搜索空间对应的全局网络结构进行预训练。
9.一种神经网络模型构建方法,其特征在于,包括:
获取终端设备确定的样本集,所述样本集包括搜索样本集;
根据权利要求1-8中任一项所述的神经网络结构搜索方法确定目标AI模型;
根据所述终端设备的指令将所述目标AI模型部署到目标设备和/或将所述目标AI模型发布到模型交易平台。
10.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现:
如权利要求1-8中任一项所述的神经网络结构搜索方法;或者
如权利要求9所述的神经网络模型构建方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现:
如权利要求1-8中任一项所述的神经网络结构搜索方法;或者
如权利要求9所述的神经网络模型构建方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于共达地创新技术(深圳)有限公司,未经共达地创新技术(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011346367.0/1.html,转载请声明来源钻瓜专利网。