[发明专利]一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法

说明书

本发明公开一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法；本发明所公开的可重构卷积神经网络处理器，包括总线接口、前处理单元、可重构硬件控制器、SRAM、SRAM控制模块、输入缓存模块、输出缓存模块、存储器、数据存储器控制器和卷积网络运算单元；其资源少、速度快、能适用于常用的卷积神经网络架构。本发明能够实现卷积神经网络，处理速度快，易于移植，资源消耗少，能够恢复被雨滴、灰尘污染的图像或者视频，还能作为前处理操作为后续的图像识别或者分类提供帮助。

技术领域

本发明涉及图像处理领域，特别涉及一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法。

背景技术

图像雨滴和灰尘的去除对于图像处理应用有重要意义，特别是视频监控和导航系统。它可用于恢复被雨滴、灰尘污染的图像或者视频，还可作为前处理操作为后续的图像识别或者分类提供帮助。

当前的去除图像噪声的方法大都利用高斯滤波、中值滤波、双边滤波等方式完成，这些方法处理效果不好，常常不能满足特定图像处理应用的需求。因此需要一个效果更好的方法来去除图像噪声，卷积神经网络的方法成为一个不错的选择。

当前的深度学习网络大都在GPU上运行，但是GPU价格昂贵，功耗高，并不适合大规模的广泛应用。而在CPU上运行速度慢，运行大规模的深度学习网络效率低，无法满足性能需求。

可以看出目前技术对于应用卷积神经网络，主要存在的问题有：处理器面积大，成本高，功耗大，性能差等问题。因此这就需要一个低功耗、面积小、处理效果好的可重构卷积神经网络处理器。

发明内容

本发明的目的在于提供一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法，硬件资源消耗低、面积小，能恢复被雨滴、灰尘污染的图像或者视频。

为了实现上述目的，本发明采用如下技术方案：

一种卷积网络运算单元，包括2个可重构分离卷积模块、非线性激活函数单元和乘累加器单元；

第一个可重构分离卷积模块的输出为非线性激活函数单元的输入，非线性激活函数单元的输出为乘累加器单元的输入，乘累加器单元的输出为第二个可重构分离卷积模块的输入；

图像信号和配置网络参数信号输入到第一个可重构分离卷积模块；第一个可重构分离卷积模块完成16×16卷积运算；非线性激活函数单元完成卷积神经网络中激活函数的运算；乘累加器单元完成卷积神经网络中的连接层的运算；第二个可重构分离卷积模块同时完成4个8×8卷积运算；

所述乘累加器单元包括若干乘累加器和若干寄存器；其中乘累加器用于计算上一层卷积网络的输出值与权重参数乘积的和；寄存器将上一层卷积网络的结果输入到乘累加器中。

进一步的，所述可重构分离卷积模块包括16个4×4可重构一维卷积模块和第一寄存器组；第一寄存器组将图像信号和卷积网络参数输入到可重构一维卷积模块；可重构分离卷积模块可完成1个16×16卷积或者同时完成4个8×8卷积运算；4×4可重构一维卷积模块包括4个第一选择器、4个第一2输入乘法器、第一4输入加法器、4个第二2输入乘法器和第二4输入加法器；4个第一选择器的输出端连接对应的4个第一2输入乘法器的输入端，4个第一2输入乘法器的另外一个输入端为神经网络的权重；4个第一2输入乘法器的输出端连接第一4输入加法器的输入端；4个第二2输入乘法器的输入为第一4输入加法器的输出和神经网络的权重；第二4输入加法器的输入为4个第二2输入乘法器的输出。

进一步的，所述非线性激活函数单元包括QD产生器和运算器组；其中QD产生器的输入为可重构分离卷积的输出，运算器组的输入为QD产生器的输出；QD产生器用于产生激活函数所需的参数；运算器组用于计算激活函数最终的结果值；