[发明专利]一种卷积神经网络调整及相关装置在审
申请号: | 201810677993.4 | 申请日: | 2018-06-27 |
公开(公告)号: | CN108960411A | 公开(公告)日: | 2018-12-07 |
发明(设计)人: | 程云;赵雅倩;董刚;李雪雷;刘栩辰 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积神经网络 卷积核 通道数 计算机可读存储介质 调整系统 改变参数 技术效果 计算资源 卷积计算 神经网络 相关装置 第一层 卷积 申请 | ||
本发明公开了一种卷积神经网络调整方法,通过对卷积核参数与输入数据参数进行调整从而增加对应的通道数,进而可以实现在不改变计算结果的前提下,通过改变参数增加对应的通道数,并对卷积核数据和输入数据进行调整从而可以充分的利用计算资源,提高第一层卷积层的卷积计算速度,进而缩短整个神经网络的计算时间。本申请还提供了一种卷积神经网络调整系统、装置及计算机可读存储介质,同样可以实现上述技术效果。
技术领域
本发明涉及机器学习,更具体地说,涉及一种卷积神经网络调整方法、系统、装置及计算机可读存储介质。
背景技术
深度神经网络作为一种近年来最受关注的机器学习算法,在图像视频处理、语音识别、自然语言处理、自动驾驶等领域获得了广泛的应用,也取得了出色的效果。其中作为最成熟的网络模型之一,卷积神经网络目前广泛的用于计算机视觉,语音识别,自然语言处理和文本分类。卷积神经网络包含卷积层、池化层和激活层等,卷积层的作用是提取图像的各种特征,池化层的作用是对原始特征信号进行抽象,从而大幅度减少训练参数。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在一个卷积层中,通常包含若干个特征通道,同一特征通道的数据共享权值,这里共享的权值就是卷积核。卷积核带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。
卷积计算是神经网络的主要计算,而多通道的卷积计算是深度神经网络的主要计算。片上的特征数据是三维数据,三个维度分别可以表示为行,列和通道,即可用:行W*列H*通道C,表示片上特征的尺寸,同时卷积后的特征数据也是个三维数据,可以表示为行M*列N*通道K,每一卷积层的卷积核为一个四维数据,可以表示成R*S*C*K。一般而言,深度学习的图像输入为RGB图像,即第一层卷积层的通道数为3。
在整个卷积神经网络中,存在数层甚至数十层的卷积层,除了第一层卷积层的通道数为3,其余卷积层的通道数均较大。综合考虑后,在FPGA上,基于DSP的卷积计算阵列适用于通道数较大的情况,第一层输入的通道数较小,在适用卷积计算阵列进行计算时,会采用补0的方法以增加通道数,极大的浪费了计算资源。
因此,如何减少计算资源的浪费,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种卷积神经网络调整方法、系统、装置及计算机可读存储介质,以减少计算资源的浪费。
为实现上述目的,本发明实施例提供了如下技术方案:
一种卷积神经网络调整方法,包括:
确定当前神经网络模型的第一层卷积层;
调整所述第一层卷积层的卷积核参数,增加卷积核的通道数,得到第一调整结果;
调整所述第一层卷积层的输入数据参数,增加输入数据的通道数,得到第二调整结果;
利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。
其中,所述调整所述第一卷积层的卷积核参数,增加卷积核的通道数,包括:
确定当前第一层卷积层的卷积核的第一尺寸;
将所述第一尺寸调整为第二尺寸,并利用所述第二尺寸增加所述卷积核的通道数;其中所述第二尺寸小于所述第一尺寸。
其中,所述调整所述第一层卷积层的输入数据参数,增加输入数据的通道数,包括:
利用所述第二尺寸调整输入数据参数,并利用所述第二尺寸增加输入数据的通道数。
其中,所述第二尺寸为1*1。
其中,所述利用所述第一调整结果与所述第二调整结果确定对应的第一层卷积层,包括:
将利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型发送至FPGA。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810677993.4/2.html,转载请声明来源钻瓜专利网。