[发明专利]无帧缓冲器的卷积神经网络系统与方法

说明书

本发明涉及一种无帧缓冲器的卷积神经网络系统与方法。该无帧缓冲器的卷积神经网络系统包括：感兴趣区域单元，用以提取特征，据以产生输入影像帧的感兴趣区域；卷积神经网络单元，处理输入影像帧的感兴趣区域以检测对象；及追踪单元，比较不同时间提取的特征，使得卷积神经网络单元据以选择地处理输入影像帧。

技术领域

本发明涉及一种卷积神经网络(CNN)，特别是关于一种无帧缓冲器的卷积神经网络系统。

背景技术

卷积神经网络(convolutional neural network,CNN)为人工神经网络(artificial neural network)的一种，可用于机器学习(machine learning)。卷积神经网络可应用于信号处理，例如图像处理及计算机视觉。

图1显示传统卷积神经网络900的方块图，揭示于Li Du等人所提出的“用于物联网的可重置串流之深卷积神经网络加速器(AReconfigurable Streaming DeepConvolutional Neural Network Accelerator for Internet of Things)”，2017年8月，电机电子工程师学会(IEEE)电路与系统会刊(IEEE Transactions on Circuits andSystems)I：定期论文，其内容视为本说明书的一部份。卷积神经网络900包含缓冲组(buffer bank)91，其包含单端口的静态随机存取存储器(SRAM)，用以储存中间数据(intermediate data)且与帧缓冲器(frame buffer)92交换数据，该帧缓冲器92包含动态随机存取存储器(DRAM)，例如双倍数据率同步动态随机存取存储器(DDR DRAM)，用以储存整个影像帧，供卷积神经网络操作之用。缓冲组91被分为二部分：输入层与输出层。卷积神经网络900包含列(column)缓冲器93，用以将缓冲组91的输出重映射(remap)至卷积单元(convolution unit,CU)引擎阵列94。卷积单元引擎阵列94包含多个卷积单元以执行高度平行的卷积运算。卷积单元引擎阵列94包含预取(pre-fetch)控制器941，用以周期的从直接存储器访问(direct memory access,DMA)控制器(未显示)取得参数且更新卷积单元引擎阵列94的权重与偏压值。卷积神经网络900还包含累积(accumulation)缓冲器95，具草稿(scratchpad)存储器，用以储存卷积单元引擎阵列94的部分卷积结果。累积缓冲器95包含最大池化(max pool)951以池化输出层数据。卷积神经网络900包含指令解码器96，用以储存预存于帧缓冲器92的命令。

如图1所示的传统卷积神经网络系统，帧缓冲器包含动态随机存取存储器(DRAM)，例如双倍数据率同步动态随机存取存储器(DDR DRAM)，用以储存整个影像帧，供卷积神经网络操作之用。举例而言，分辨率为320x240的影像帧需占用空间为320x240x8位的帧缓冲器。然而，双倍数据率同步动态随机存取存储器(DDR DRAM)并不适用于低功率应用，例如穿戴式或物联网(IoT)装置。因此亟需提出一种新颖的卷积神经网络系统，以适用于低功率应用。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种无帧缓冲器的卷积神经网络系统。本实施例可使用简易系统架构以执行卷积神经网络操作于高分辨率影像帧。

根据本发明的一实施例，一种无帧缓冲器的卷积神经网络系统包括感兴趣区域单元、卷积神经网络单元及追踪单元。感兴趣区域单元提取特征，据以产生输入影像帧的感兴趣区域。卷积神经网络单元处理输入影像帧的感兴趣区域以检测对象。追踪单元比较不同时间提取的特征，使得卷积神经网络单元据以选择地处理输入影像帧，其中该感兴趣区域单元产生基于区块的特征，据以决定每一影像区块是否执行卷积神经网络操作。