[发明专利]基于可重构计算的卷积神经网络池化层、硬件实现方法及系统在审
申请号: | 201911014329.2 | 申请日: | 2019-10-23 |
公开(公告)号: | CN110942145A | 公开(公告)日: | 2020-03-31 |
发明(设计)人: | 李丽;郑茜;傅玉祥;李伟;何国强;陈铠 | 申请(专利权)人: | 南京大学 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04 |
代理公司: | 南京泰普专利代理事务所(普通合伙) 32360 | 代理人: | 窦贤宇 |
地址: | 210023 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 可重构 计算 卷积 神经网络 池化层 硬件 实现 方法 系统 | ||
本发明涉及基于一种可重构计算的卷积神经网络池化层、硬件实现方法及系统,该系统包括:控制单元、数据暂存单元、最大池化/平均池化计算单元。控制单元用于读取配置信息,通过有限状态机控制卷积神经网络池化层的运算流程,通过调用最大池化/平均池化计算单元以实现最大池化和平均池化算法;数据暂存单元用于存储计算所需的输入层信息及输出层结果;最大池化/平均池化计算单元用于计算输出层中各个通道的信息。本发明提出了一种可重构的卷积神经网络池化层硬件架构,计算资源和存储资源都可以进行裁剪拆分,在保证算法精度的情况下,高并行度的最大池化/平均池化计算单元大大提高了算法的硬件实现速度,该架构可适用于各种人工智能场景。
技术领域
本发明涉及人工智能算法领域,尤其涉及基于可重构计算的卷积神经网络池化层的硬件实现。
背景技术
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deeplearning)的代表算法之一。对卷积神经网络的研究始于二十世纪80至90年代,时间延迟网络和LeNet-5是最早出现的卷积神经网络;在二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被大量应用于计算机视觉、自然语言处理等领域。
卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑,在一些更为现代的算法中可能有Inception模块、残差块(residual block)等复杂构筑。在常见构筑中,卷积层和池化层为卷积神经网络特有。以LeNet-5为例,3类常见构筑在隐含层中的顺序通常为:输入-卷积层-池化层-卷积层-池化层-全连接层-输出。
在卷积层进行特征提取后,输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数,其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同,由池化大小、步长和填充控制。平均池化和最大池化是最常见的池化方法,二者以损失特征图尺寸为代价保留图像的背景和纹理信息。池化操作在每个深度切片上进行,例如最大池化中,常用的池化核为2x2大小,在每个深度切片的宽度和高度方向进行下采样,忽略掉75%(3/4)的激活信息,池化操作的过程中,保持深度大小不变。
发明内容
发明目的:本发明的目的在于提高池化层实现的灵活性,达到硬件资源与网络大小相适应。该发明提供了一种基于可重构计算的卷积神经网络池化层的硬件实现方法,该方法可以有效地提高卷积神经网络池化层的配置灵活性,减少硬件资源开销,更好地满足实际应用的需求。
技术方案:基于可重构计算的卷积神经网络池化层,包括:
控制单元,用于读取配置信息,通过有限状态机控制卷积神经网络池化层的运算流程,通过调用最大池化/平均池化计算单元以实现最大池化和平均池化算法;
数据暂存单元,用于存储计算所需的输入层信息及输出层结果;
最大池化/平均池化计算单元,用于计算输出层中各个通道的信息。
基于可重构计算的卷积神经网络池化层,包括:
控制单元,用于控制卷积神经网络池化层整个的运算流程,通过最大池化/平均池化计算单元来实现池化层的两种推理方式;
数据暂存单元,用于存储计算所需的输入层信息和输出层结果;
最大池化计算单元,用于在每个深度切片的宽度和高度方向下进行下采样,通过求所取样本内的最大值来减少卷积神经网络的数据量,其仅在最大池化时被激活;
平均池化计算单元,用于在每个深度切片的宽度和高度方向下进行下采样,通过求所取样本内的平均值来减少卷积神经网络的数据量,其仅在平均池化时被激活。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911014329.2/2.html,转载请声明来源钻瓜专利网。