[发明专利]将传统计算机视觉算法实现为神经网络

说明书

本文涉及将传统计算机视觉算法实现为神经网络。本文描述了用于将传统计算机视觉算法实现为神经网络的方法和系统。该方法包括：接收传统计算机视觉算法的定义，该定义标识一个或多个传统计算机视觉算法运算的序列；将一个或多个传统计算机视觉算法运算中的每一个映射到在数学上等同于该传统计算机视觉算法运算的一个或多个神经网络基元的集合；根据该序列来对映射到每个传统计算机视觉算法运算的一个或多个网络基元进行链接，以形成表示传统计算机视觉算法的神经网络；以及配置能够实现神经网络的硬件逻辑，以实现表示传统计算机视觉算法的神经网络。

技术领域

本申请涉及神经网络，更具体地，涉及将传统计算机视觉算法实现为神经网络的系统和方法。

背景技术

深度神经网络(DNN)是一种人工神经网络形式，包括多个互连层，使得DNN能够执行信号处理任务，所述信号处理任务包括但不限于计算机视觉任务。图1示出了包括多个层102-1、102-2、102-3的示例DNN 100。每个层102-1、102-2、102-3接收输入数据，根据该层处理输入数据以产生输出数据。输出数据或是作为输入数据提供给另一层，或是作为DNN的最终输出数据输出。例如，在图1的DNN 100中，第一层102-1接收输入到DNN 100的原始输入数据104，并根据第一层102-1处理输入数据以产生输出数据。第一层102-1的输出数据成为第二层102-2的输入数据，第二层102-2根据第二层102-2来处理输入数据以产生输出数据。第二层102-2的输出数据成为第三层102-3的输入数据，第三层102-3根据第三层102-3处理输入数据以产生输出数据。第三层102-3的输出数据作为DNN的输出数据106输出。

对输入到层的输入数据执行的处理取决于层的类型。例如，DNN的每一层可以是多种不同类型中的一种。示例DNN层类型包括但不限于：卷积层、激活层、归一化层、池化层和完全连接层。对于本领域技术人员易于理解的是，这些是示例性DNN层类型，并且这不是穷举列表，并且可能存在其他DNN层类型。

对于卷积层，通过使用与该层相关联的权重对输入数据进行卷积来处理输入数据。具体地，每个卷积层与多个权重w₀…w_g相关联，其也可以称为过滤器权重或系数。权重被分组以形成或定义一个或多个过滤器，其也可以称为内核(kernel)。一个或多个过滤器可以与偏移偏置b相关联。

参考图2，图2示出了DNN中使用的数据格式的示例概述。如图2所示，DNN中使用的数据200可以由多个矩阵形成。输入数据可以被排列为P个数据矩阵，其中每个矩阵具有维度x x y。DNN可以包括一个或多个卷积层，每个卷积层与多个过滤器相关联，多个过滤器由多个权重形成。每个过滤器具有尺寸m x n x P，并且在方向s和t上跨若干步骤根据卷积运算被应用于输入数据，如图2所示。过滤器的数量和每个过滤器的权重数量可以在卷积层之间变化。卷积神经网络(CNN)是对图像识别和分类有效的特定类型的DNN，其通常包括多个卷积层。

激活层通常但不一定在卷积层之后，其对该层的输入数据执行一个或多个激活函数。激活函数采用单个数字并对其执行非线性数学运算。在一些示例中，激活层可以通过实现整流线性单元(rectified linear unit，ReLU)函数(即，f(x)＝max(0,x))作为ReLU，或通过实现参数整流线性单元(parametric rectified linear unit，PReLU)函数作为PReLU。

规一化层被配置为执行归一化函数，例如对输入数据执行本地响应规一化(LRN)函数。池化层通常会但不一定插入连续的卷积层之间，其执行池化函数，例如最大值(max)或平均值(mean)函数，以汇总输入数据的子集。因此，池化层的目的是减小表示的空间尺寸，以减少网络中的参数和计算的数量，并因此还控制过度拟合。