[发明专利]一种神经网络构建方法以及装置在审
申请号: | 202010448652.7 | 申请日: | 2020-05-25 |
公开(公告)号: | CN111797983A | 公开(公告)日: | 2020-10-20 |
发明(设计)人: | 江宸瀚;徐航;李震国;梁小丹 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/08;G06K9/62 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 聂秀娜 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 神经网络 构建 方法 以及 装置 | ||
本申请公开了人工智能领域的神经网络构建方法以及装置,用于准确高效地构建目标神经网络,构建出的目标神经网络输出的准确度高,还可以应用于不同的应用场景中,泛化能力强。该方法包括:获取起点网络,该起点网络包括多个串行子网络;基于预设的第一搜索空间对起点网络进行至少一次变形,得到串行网络,第一搜索空间包括对起点网络进行变形使用的参数的范围;若串行网络满足预设条件,则通过预设的数据集对串行网络进行训练,得到训练后的串行网络;若训练后的串行网络满足终止条件,则根据训练后的串行网络得到目标神经网络。
技术领域
本申请涉及人工智能领域,尤其涉及一种神经网络构建方法以及装置。
背景技术
在人工智能领域中,计算机视觉技术在自动驾驶,手机终端及安防监控等场景有着广泛的应用。主干网络是神经网络中的重要的网络架构,与神经网络的具体任务通常并无关联,可以是针对大部分任务都需要的特征提取网络或残差网络等。常用计算机视觉任务主要用于目标检测以及语义分割,通常可以先通过主干网络对输入信息进行特征提取,然后将提取到的特征输入到预测模块,得到预测结果。而随着待处理场景的复杂度增加,对主干网络特征提取能力的需求也随之增加。
然而,在现有方案中,通常采用人工设计的或者搜索得到的分类网络的特征提取网络作为主干网络,或者,通过搜索得到的构建单元堆叠得到主干网络。现有技术中所获取的主干网络往往输出准确度低,获取主干网络的效率低下,并且,通过堆叠得到的主干网络,通常只能用于固定的场景中,在不同的场景中需要再次搜索构建单元并堆叠主干网络,泛化能力弱。
发明内容
本申请提供一种神经网络构建方法以及装置,用于准确高效地构建目标神经网络,构建出的目标神经网络输出的准确度高,还可以应用于不同的应用场景中,泛化能力强。
第一方面,本申请提供一种神经网络构建方法,包括:获取起点网络,该起点网络包括多个串行网络;基于预设的第一搜索空间对起点网络进行至少一次变形,得到串行网络,第一搜索空间包括对起点网络进行变形使用的参数的范围;若串行网络满足预设条件,则通过预设的数据集对串行网络进行训练,得到训练后的串行网络;若训练后的串行网络满足终止条件,则根据训练后的串行网络得到目标神经网络。
本申请实施方式中,可以对起点网络进行至少一次变形得到串行网络,当串行网络满足预设条件时,才通过预设的数据集对串行网络进行训练,而无需每次变形都对变形后的起点网络进行训练,减少了工作量,提高得到目标神经网络的效率。并且,变形后的起点网络可以继承变形前的起点网络的权重值,并通过轻量数据集对继承的权重值进行更新,从而实现对变形后的起点网络的快速训练,快速得到符合需求的串行网络,进而进一步提高得到目标神经网络的效率。并且,本申请可以通过对起点网络进行变形,从而使目标神经网络的输出的准确度更高。此外,本申请提供的神经网络构建的方法,可以适应不同的场景,可以根据不同的需求来搜索串行网络。可以面向更复杂的视觉任务,泛化能力强。从而可以节约构建不同的神经网络的成本,提高构建的神经网络的输出的准确性,提高用户体验。
在一种可能的实施方式中,前述的基于第一搜索空间对起点网络进行至少一次变形中的其中一次变形,包括:在第一搜索空间中搜索变形策略,该变形策略包括对起点网络进行变形使用的一组参数;根据变形策略对起点网络进行变形,得到变形后的起点网络,变形后的起点网络的权重继承变形前的起点网络的权重;通过轻量数据集对变形后的起点网络的权重更新,得到权重更新后的起点网络,预设的数据集所包括的数据多于轻量数据集所包括的数据;对权重更新后的起点网络进行评估,得到第一评估结果;若第一评估结果满足预设的更新条件,则在第一搜索空间中重新搜索变形策略,并根据重新搜索得到的变形策略对变形前的起点网络进行重新变形;若第一评估结果不满足预设的更新条件,则将权重更新后起点网络作为串行网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010448652.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种机器学习优化方法以及装置
- 下一篇:一种异常信息识别方法及计算设备