[发明专利]生成深度神经网络的方法、装置和计算机可读存储介质在审
申请号: | 201710893595.1 | 申请日: | 2017-09-27 |
公开(公告)号: | CN108205707A | 公开(公告)日: | 2018-06-26 |
发明(设计)人: | 孔畅;李嘉斌;刘文志 | 申请(专利权)人: | 深圳市商汤科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 姚泽鑫 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络模型 训练样本 样本特征 计算机可读存储介质 神经网络 终止条件 自适应性 人工智能领域 模型分子 模型结构 | ||
本发明属于人工智能领域,提供了一种生成深度神经网络的方法、装置和计算机可读存储介质,以使得深度神经网络模型具有自适应性。所述方法包括:将训练样本输入深度神经网络模型,获得训练样本的样本特征;根据样本特征确定深度神经网络模型的训练不满足训练终止条件,则以模型分子为单位扩展深度神经网络模型的模型结构,并再次执行将训练样本输入深度神经网络模型的步骤,直至得到的样本特征满足训练终止条件时停止训练。本发明提供的技术方案使得深度神经网络模型的结构具有高度的自适应性。
技术领域
本发明属于人工智能领域,尤其涉及生成深度神经网络的方法、装置和计算机可读存储介质。
背景技术
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。一般地,CNN的基本结构包括特征提取层和特征映射层,其中,特征提取层的每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征,一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;而特征映射层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。
近年来,CNN在计算机视觉领域得到越来越广泛的应用,并且取得了远远超越传统方法的效果。相比于传统手工设计特征的方法,CNN利用深层次网络结构自动提取图像的特征,表达能力强大,鲁棒性更强,可避免传统方法中人为设计特征的弊端。卷积神经网络的成功,归因于可用的训练数据数量越来越多。互联网的发展带来了图像数据的爆炸式增长,这也为卷积神经网络的训练提供了足够的素材,使得复杂的深度非线性CNN模型能得到充分的训练,使CNN模型能够更好地拟合识别图像的数据分布,提高了图像的识别率和模型的推广性。另一方面,随着并行异构技术的发展,使得复杂模型的训练和大规模数据的处理变为可能,图像处理器(Graphic Processing Unit,GPU)并行计算已经在CNN模型训练中普及,保证了CNN模型训练和应用的效率。
现有技术在CNN模型原子的研究方面,例如,池化方式的选择、激活函数的设计、特定任务的损失函数和模型的初始化方法等已日益成熟,这些基础技术的成熟为CNN模型的改进和发展提供了基础支持。在CNN模型结构设计方面,现有技术分别从不同方面研究了网络结构对性能的影响,例如,增加网络深度或宽度的影响,改变卷积核数目和大小的影响等,以此来改进CNN的性能。
在实际应用中,CNN模型的结构选择要与具体的任务和数据情况相匹配才能获得最佳识别效果。然而,现有技术在设计CNN模型结构时严重依赖于设计人员的经验,设计出来的网络结构缺乏自适应调整机制,难以获得最佳性能的网络模型。
发明内容
本发明的目的在于提供一种生成深度神经网络的方法、装置和计算机可读存储介质,以使得深度神经网络模型具有自适应性。
本发明第二方面提供一种生成深度神经网络的方法,所述方法包括:
将训练样本输入深度神经网络模型,获得所述训练样本的样本特征,所述深度神经网络模型用于完成目标任务;
根据所述样本特征确定所述深度神经网络模型的训练不满足训练终止条件,则以模型分子为单位扩展所述深度神经网络模型的模型结构,并再次执行将训练样本输入深度神经网络模型的步骤,直至得到的所述样本特征满足训练终止条件时停止训练;
所述模型分子为根据所述目标任务的需求对模型原子进行组合得到子网络结构,所述模型原子包括卷积单元,池化单元,非线性单元以及全连接单元任一项以上的组合。
结合本发明的第二方面,在第二方面的第一种实施方式中,所述将训练样本输入深度神经网络模型,获得所述训练样本的样本特征之前,包括:
使用短路映射的方式设置所述深度神经网络模型的网络结构。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市商汤科技有限公司,未经深圳市商汤科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710893595.1/2.html,转载请声明来源钻瓜专利网。