[发明专利]多通道神经网络模型训练方法、装置及计算机存储介质在审
申请号: | 201910176255.6 | 申请日: | 2019-03-08 |
公开(公告)号: | CN111667045A | 公开(公告)日: | 2020-09-15 |
发明(设计)人: | 董健;颜水成 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 王玉双 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 通道 神经网络 模型 训练 方法 装置 计算机 存储 介质 | ||
本发明实施例公开一种多通道神经网络模型训练方法、装置及计算机存储介质,多通道神经网络模型训练方法包括:在进行目标模型训练时,将训练数据输入N通道神经网络模型进行学习,该模型中采用了多通道的网络结构,包括了一条残差网络通道以及N‑1条连接结构互不相同的密集连接网络通道,这N‑1个DenseNet通道中的卷积层按各自对应的间隔层数密集连接。这样,通过ResNet通道可以很好地复用模型参数,提高模型的效率,同时,通过N‑1条DenseNet通道,可以利用前面层的中间结果,大大提高模型的计算效率和模型的性能。
技术领域
本发明涉及电子技术领域,尤其涉及一种多通道神经网络模型训练方法、装置及计算机存储介质。
背景技术
深度学习技术,在计算机视觉,语音识别、自然语言处理等不同场景中,发挥着越来越重要的作用。在深度学习中,核心的是深度模型结构的设计。传在传统的残差网络,在网络加深的过程中,会对模型的输出进行不断修正,最终得出结果。但残差网络逐步累加后,后面层只能利用前面累加的结果作为输入,而无法利用前面层的中间结果。但如果直接对将当前层和之前所有层的结果相连,会造成模型还有大量冗余参数,难易计算和有效优化的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多通道神经网络模型训练方法、装置及计算机存储介质。
第一方面,本实施例提供一种多通道神经网络模型训练方法,其特征在于,包括:
确定训练数据;
将所述训练数据输入N通道神经网络模型进行学习,获得训练后的目标模型,其中,所述N通道神经网络模型中包括残差卷积神经网络ResNet通道和N-1条连接结构互不相同的密集连接卷积神经网络DenseNet通道,所述 N-1条DenseNet通道中每条通道的卷积层按各自对应的间隔层数密集连接,所述预设N通道神经网络模型包括预设个数的学习模块,每个学习模块对应的上一个学习模块输出的数据分成N个数据后,一个数据进入该学习模块中所述ResNet通道进行对应元素相加操作后,剩余N-1个数据分别进入对应的所述N-1条DenseNet通道进行各自合并操作后,所述ResNet通道和所述N-1 条DenseNet通道输出的数据进行卷积层处理后输入下一个学习模块,N为大于2的整数。
可选的,所述N-1条DenseNet通道中每条通道的卷积层按各自对应的间隔层数密集连接,包括:
针对所述N-1条DenseNet通道中每条DenseNet通道所包含的卷积层,按与该通道对应的间隔层数进行分段,针对每个分段内的每个卷积层对应的输入数据合并有该分段内位于该卷积层之前的所有卷积层的输出数据,所述 N-1条DenseNet通道间对应的间隔层数互不相同。
可选的,所述N-1条DenseNet通道中每条通道的卷积层按各自对应的间隔层数密集连接,包括:
针对所述N-1条DenseNet通道中每条DenseNet通道所包含每个卷积层,该卷积层的输出数据合并至位于该卷积层后的P个卷积层各自对应的输入数据中,P为该DenseNet通道对应间隔层数,所述N-1条DenseNet通道间对应的间隔层数互不相同。
可选的,所述ResNet通道和所述N-1条DenseNet通道输出的数据进行卷积层处理后输入下一个学习模块包括:
针对每条通道的输出数据,各自进行1*1卷积操作后进行对应位相加,得到第一输出数据,对所述第一输出数据依次进行3*3卷积和1*1卷积操作后,得到该学习模块对应的输出数据,将所述输出数据输入下一个学习模块。
可选的,所述训练数据包括已分类图像的训练图像集,所述目标模型为图像分类模型。
第二方面,本申请实施例提供一种多通道神经网络模型训练装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910176255.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:车辆的转向中间轴和车辆
- 下一篇:热管理装置及其控制方法和具有其的车辆