[发明专利]一种参数化可扩展的神经网络全连接层多层互连结构有效
申请号: | 201710331078.5 | 申请日: | 2017-05-11 |
公开(公告)号: | CN107273969B | 公开(公告)日: | 2020-06-19 |
发明(设计)人: | 任鹏举;白宇雲;丁晓彤;朱梦娇;魏亚东;樊珑;秦琴;刘龙军;郑南宁 | 申请(专利权)人: | 西安交通大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/06 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 陆万寿 |
地址: | 710049 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 参数 扩展 神经网络 连接 多层 互连 结构 | ||
本发明公开一种参数化可扩展的神经网络全连接层多层互连结构,包括若干层全连接层,每层全连接层例化了若干基本单元;一个基本单元连接一个路由器,同一全连接层中的基本单元经过路由器相连,形成全连接环;全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构,支持双向的数据传递(前向推理,反向学习)。本发明采用可配置的全连接基本单元作为全连接层硬件实现的基础,用户可以根据实际使用的神经网络的需求通过设置参数控制生成多个基本单元并互连的方式完成其网络中全连接层的设计实现和并行加速;本发明的设计考虑了数据流水线,缩短了系统运行时钟周期,灵活配置全连接层的结构和规模,便于系统的快速部署实现。
技术领域
本发明属于人工神经网络技术领域,特别涉及一种参数化可扩展的神经网络全连接层多层互连结构。
背景技术
全连接层在神经网络算法中是必不可少的一部分,其构造一般是多层互连,每一层的输出作为下一层的输入。全连接层是神经网络中计算量最大,参数最多的部分,在整个算法中具有决定性的作用。随着神经网络的应用越来越广泛,需求不断增加,神经网络的深度逐步加深,全连接层的层数也会相应增加。目前比较流行神经神经网络算法中都用到了全连接层,而这些网络对全连接层的层数和每层输入输出的节点数目的配置都各有不同,以下列举一些目前常用的卷积神经网络算法结构中全连接层网络的结构:
1)主要用于手写数字体识别的经典网络LeNet-5中采用了三层卷积层和两层全连接层,全连接层共有214个神经元节点,包含一万多个参数;
2)在主要用于ImageNet数据库识别分类的经典结构AlexNet网络中采用了五层卷积层和三层全连接层,第一层全连接层有4096个神经元节点,第二层有4096个神经元节点,第三层有1000个神经元节点,共包含约两千万个参数;
3)在2014年出现的另一种同样识别ImageNet库的更深的网络VGG-Net网络中共采用了十五层的卷积层和三层全连接层,前两层全连接层各有4096个神经元节点,第三层有1000个神经元节点,共包含参数一亿多个参数。
随着计算网络规模不断扩大,参与计算的数据越来越多,而全连接层因为功能需要往往会占用整个系统参数的较大比例,训练一个网络需要成千上万次的迭代运算,用传统计算机CPU/GPU计算时数据会频繁在处理器和存储器间传递,存储带宽的限制和数据搬移造成过多的能耗,,采用专用计算架构实现卷积神经网络来提高计算效率成为目前的研究热点,而一种参数化可扩展的全连接层的设计是通用卷积神经网络加速平台的关键模块。
发明内容
本发明的目的在于提供一种参数化可扩展的神经网络全连接层多层互连结构,以解决上述技术问题。
为了实现上述的目的,本方案采用了如下的技术方案:
一种参数化可扩展的神经网络全连接层多层互连结构,包括若干层全连接层,每层全连接层例化了若干个基本单元;一个基本单元连接一个路由器,同一全连接层中的基本单元经过路由器相连,形成全连接环;全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构。
进一步的,基本单元包括存储模块、地址计数器模块和若干基本列模块;若干基本列模块并列设置,每个基本列模块的输入端均连接基本单元的数据输入端和存储模块的输出端,每个基本列模块的输出端均连接基本单元的数据输出端;地址计数器模块的输入端连接一个基本列模块,地址计数器模块的输出端连接存储模块;地址计数器模块用于采集基本列模块的计算次数;存储模块包括权重SRAM和偏置SRAM;基本列模块用于根据存储模块输入的权重和偏置对接收的输入数据与权重进行相乘,然后与偏置相加获得输出数据进行输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交通大学,未经西安交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710331078.5/2.html,转载请声明来源钻瓜专利网。