[发明专利]神经网络架构搜索方法、图像处理方法、装置和存储介质在审
申请号: | 201910913248.X | 申请日: | 2019-09-25 |
公开(公告)号: | CN112561027A | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 李桂林;李震国;张星 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 张振;王君 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 架构 搜索 方法 图像 处理 装置 存储 介质 | ||
1.一种神经网络架构的搜索方法,其特征在于,包括:
确定搜索空间和多个构建单元,所述搜索空间包括多组备选操作符,每组备选操作符包含的操作符的种类相同,所述多个构建单元中的每个构建单元是由多个节点之间通过神经网络的基本操作符连接得到的网络结构,所述多个构建单元中的每个构建单元的节点之间的连接形成边;
对所述多个构建单元进行堆叠,以得到第一阶段的初始神经网络架构,所述第一阶段的初始神经网络架构中的每个构建单元的每条边对应多个备选操作符,所述多个备选操作符中的每一个备选操作符对应来自所述多组备选操作符中的一组;
对所述第一阶段的初始神经网络架构进行优化,直至收敛,以得到第一阶段优化后的初始神经网络架构;
获取第二阶段的初始神经网络架构,所述第二阶段的初始神经网络架构中的第i个构建单元中的第j条边对应的混合操作符由所述第一阶段优化后的初始神经网络架构中的第k组备选操作符中的全部操作符组成,所述第k组备选操作符为所述第一阶段优化后的初始神经网络架构中的第i个构建单元中的第j条边对应的多个备选操作符中权重最大的操作符所在的一组备选操作符,i、j和k均为正整数;
对第二阶段的初始神经网络架构进行优化,直至收敛,以得到优化后的构建单元;
根据所述优化后的构建单元搭建目标神经网络。
2.如权利要求1所述的搜索方法,其特征在于,所述搜索方法还包括:
对所述搜索空间中的多个备选操作符进行聚类处理,以得到所述多组备选操作符。
3.如权利要求1或2所述的搜索方法,其特征在于,所述搜索方法还包括:
从所述多组备选操作符的每组备选操作符中选择一个操作符,以得到所述第一阶段的初始神经网络架构中的每个构建单元的每条边对应的所述多个备选操作符。
4.如权利要求3所述的搜索方法,其特征在于,所述搜索方法还包括:
确定所述第一阶段的初始神经网络架构中的每个构建单元的每条边中权重最大的操作符;
将所述第一阶段的初始神经网络架构中的第i个构建单元中的第j条边中权重最大的操作符所在的一组备选操作符中的全部备选操作符组成的混合操作符,确定为所述第二阶段的初始神经网络架构中的第i个构建单元中的第j条边对应的备选操作符。
5.如权利要求1-4中任一项所述的搜索方法,其特征在于,所述多组备选操作符包括:
第一组备选操作符:3x3最大池化操作,3x3平均池化操作;
第二组备选操作符:跳连操作;
第三组备选操作符:3x3分离卷积操作,5x5分离卷积操作;
第四组备选操作符:3x3空洞可分离卷积操作,5x5空洞可分离卷积操作。
6.如权利要求1-5中任一项所述的搜索方法,其特征在于,所述对所述第一阶段的初始神经网络架构进行优化,直至收敛,以得到优化后的构建单元,包括:
采用相同的训练数据对所述第一阶段的初始神经网络架构中的构建单元的网络架构参数和网络模型参数分别进行优化,直至收敛,以得到第一阶段优化后的初始神经网络架构;和/或
所述对所述第二阶段的初始神经网络架构进行优化,直至收敛,以得到优化后的构建单元,包括:
采用相同的训练数据对所述第二阶段的初始神经网络架构中的构建单元的网络架构参数和网络模型参数分别进行优化,直至收敛,以得到优化后的构建单元。
7.一种神经网络架构的搜索方法,其特征在于,包括:
确定搜索空间和多个构建单元,所述多个构建单元中的每个构建单元是由多个节点之间通过神经网络的基本操作符连接得到的网络结构;
堆叠所述多个构建单元,得到搜索网络;
在所述搜索空间内采用相同的训练数据对所述搜索网络中的构建单元的网络架构参数和网络模型参数分别进行优化,得到优化后的构建单元;
根据所述优化后的构建单元搭建目标神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910913248.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:内存迁移方法、装置及计算设备
- 下一篇:一种垃圾分类的判断方法及装置