[发明专利]卷积神经网络的存储器优化的区块式推论方法及其系统

说明书

本发明提供一种卷积神经网络的存储器优化的区块式推论方法及其系统。区块推论步骤驱动运算处理单元将各输入区块数据执行多层卷积操作而产生输出区块数据。区块推论步骤依据输出区块数据的位置沿扫描换行方向选择第i层重新计算特征。区块推论步骤依据第i层重新计算输入特征区块数据沿区块扫描方向选取出第i层重复利用特征。卷积运算步骤依据第i层重新计算特征及第i层重复利用特征执行卷积运算。借此，通过不同方向使用不同特征的计算方式，既不增加过多计算量及内部区块暂存器，亦能大幅降低外部存储器的频宽需求。

技术领域

本发明涉及一种区块式推论方法及其系统，特别涉及一种卷积神经网络的存储器优化的区块式推论方法及其系统。

背景技术

当使用卷积神经网络于影像处理应用时，其外部存储器频宽需求可能会相当高，而使用区块式推论流程，可以大幅降低此频宽需求。然而，区块间会有重叠的特征向量，目前已知有两种不同的处理方法，一种是采重新计算方式，另一种则是采重复利用方式。其中前者会增加计算量而降低输出像素量，而后者则是需要大量的区块暂存器来存放重复使用的特征向量。由此可知，目前市场上缺乏一种能在不增加太多计算量以及区块暂存器前提下，可大幅降低外部存储器频宽需求的卷积神经网络的存储器优化的区块式推论方法及其系统，故相关业者均在寻求其解决之道。

发明内容

因此，本发明的目的在于提供一种卷积神经网络的存储器优化的区块式推论方法及其系统，当进行区块式推论时，于区块前行的方向上重复利用已计算过的特征，而于另一个方向上采用重新计算的方式，使区块式推论在不增加过多计算量以及区块暂存器的前提下，依然能大幅降低外部存储器的频宽需求。

依据本发明的方法样式的一实施方式提供一种卷积神经网络的存储器优化的区块式推论方法，其用以处理一输入影像。此卷积神经网络的存储器优化的区块式推论方法包含参数设定步骤、分割步骤、区块推论步骤以及暂存步骤，其中参数设定步骤是设定一推论参数组，此推论参数组包含一卷积深度、一区块宽度、一区块高度及多层卷积核大小。分割步骤是驱动一运算处理单元依据卷积深度、区块宽度、区块高度及此些层卷积核大小划分输入影像成多个输入区块数据，各输入区块数据具有输入区块大小。区块推论步骤是驱动运算处理单元将各输入区块数据执行多层卷积操作而产生输出区块数据，此多层卷积操作包含第一方向数据选取步骤、第二方向数据选取步骤及一卷积运算步骤，其中第一方向数据选取步骤是依据输出区块数据的一位置沿一扫描换行方向选择多个第i层重新计算特征，然后依据输出区块数据的位置及此些第i层重新计算特征选取出一第i层重新计算输入特征区块数据，其中i为1至卷积深度的多个正整数的其中一者。第二方向数据选取步骤是依据第i层重新计算输入特征区块数据沿一区块扫描方向选取出多个第i层重复利用特征，并将第i层重新计算输入特征区块数据及此些第i层重复利用特征组合而产生一第i层重复利用输入特征区块数据。此外，卷积运算步骤是依据第i层卷积核大小从第i层重复利用输入特征区块数据中选取出多个第i层子区块输入特征群，然后对各第i层子区块输入特征群及一卷积参数组执行一卷积运算而产生一第i层子区块输出特征，并将对应此些第i层子区块输入特征群的此些第i层子区块输出特征组合而形成一第i层输出特征区块数据。暂存步骤是驱动一区块暂存器暂存第i层输出特征区块数据及此些第i层重复利用特征。

借此，本发明的卷积神经网络的存储器优化的区块式推论方法通过不同方向使用不同特征的计算方式，使区块式推论在不增加过多计算量以及区块暂存器的前提下，依然能大幅降低外部存储器的频宽需求。

前述实施方式的其他实施例如下：当前述i等于1时，第i层重新计算输入特征区块数据等于各输入区块数据。当i等于卷积深度时，第i层输出特征区块数据等于输出区块数据。

前述实施方式的其他实施例如下：前述第i层重新计算输入特征区块数据具有一第i层重新计算输入特征区块大小与一第i层重新计算输入特征区块通道数，第i层输出特征区块数据具有一第i层输出特征区块大小与一第i层输出特征区块通道数。第i层输出特征区块大小大于第i层重新计算输入特征区块大小，且第i层重新计算输入特征区块通道数等于第i层输出特征区块通道数。