[发明专利]一种基于通道共享的深度神经网络加速器

说明书

本发明公开了一种基于通道共享的深度神经网络加速器，包括激活值输入缓存，权重缓存，激活值输出缓存，排序模块，通道共享编码模块，激活函数和通道共享实用内积单元阵列。激活值输入缓存用于存储激活值非0位偏移量，排序索引和共享切换信号。激活值输出缓存用于存储中间结果和激活值输出。排序模块根据激活值非0位数量对激活值排序，排序结果将在通道共享编码模块中进行共享检测编码。激活值非0位偏移量，排序索引，切换信号及权重作为输入在通道共享实用内积单元中进行移位及求和计算。和现有技术相比，本发明有效解决了激活值位串行计算结构的深度神经网络处理器存在的同步问题，具有资源利用率高，性能高，能耗少和面积效率高的优点。

技术领域

本发明属于人工智能技术领域，具体涉及一种基于通道共享的深度神经网络加速器。

背景技术

Hinton等人于2006年提出深度学习的概念，深度学习概念的提出引发了新一轮的人工智能研究热潮。近年来，不少公司诸如谷歌，微软，脸书，百度等已将深度学习技术应用于图像识别，语音识别等场景中。深度学习的本质就是通过大量数据训练人工神经网络从而来提取输入数据特征。

新的输入数据利用训练好的人工神经网络进行推理以对输入数据进行预测，预测的准确度决定了深度学习的效果。为了保证深度学习获得更好的效果，人工神经网络的层数越来越多，就成为了深度神经网络。随着深度神经网络层数越来越深，深度神经网络的规模也越来越大，这给用于深度神经网络计算的硬件计算结构和优化算法提出了前所未有的挑战。

深度神经网络模型基利用图形处理器(Graphic Processing Unit，简称GPU)进行训练和推理花费时间长，同时耗电量大。因此，国内外一些研究机构和企业开始关注高性能和高能效的深度神经网络加速器的芯片设计，例如，麻省理工学院(MIT)，多伦多大学，谷歌(Google)，高通(Qualcomm)，英特尔(Intel)，华为，英伟达(Nvidia)等。当前，大部分深度神经网络加速器芯片围绕深度神经网络的推理过程来进行设计。

目前，绝大部分深度神经网络加速器按照激活值的计算结构划分，可以分为两种：一种是激活值位串行结构，另一种是激活值位并行计算结构。和激活值位并行计算结构相比，激活值位串行计算结构可以充分利用深度神经网络中激活值的所有有效位/非0位进行计算。然而，由于在每一次计算中不同的激活值非0位的数量存在差异，因此需要同步来保证计算的正确。同步问题导致了性能受限和资源浪费的问题。

发明内容

针对现有激活值位串行结构的深度神经网络加速器存在的性能受限和资源浪费的情况的问题，本发明提出了一种基于通道共享的深度神经网络加速器。

本发明采用如下技术方案来实现的：

一种基于通道共享的深度神经网络加速器，包括激活值输入缓存，权重缓存，激活值输出缓存，排序模块，通道共享编码模块和通道共享实用内积单元阵列；其中，

激活值输入缓存用于临时存储激活值非0位偏移量，排序索引和共享切换信号；

激活值输出缓存用于临时存储中间结果和激活值输出；

排序模块按照激活值非0位的数量在激活值通道分组中对激活值进行排序，来自排序的排序索引被送入通道共享编码模块对激活值进行共享检测编码；

来自激活值输入缓存的激活值非0位偏移量，排序索引和共享切换信号及来自权重缓存的权重作为输入在通道共享实用内积单元阵列中通过移位加及累加计算得到输出部分和，输出部分和被存储在激活值输出缓存中，激活值输出缓存中的输出部分和最终通过激活函数f计算，得到输出激活值。