[发明专利]用于车辆感知系统的神经网络中的激活零旁路和权重剪枝

说明书

本发明题为“用于车辆感知系统的神经网络中的激活零旁路和权重剪枝”。在根据本公开的方面的一个示例具体实施中，一种计算机实现的方法包括在与车辆相关联的相机处捕获多个图像并将与多个图像相关联的图像数据存储到存储器。该方法还包括将车辆感知任务分派给与存储器通信的加速器的多个处理元件。该方法还包括通过多个处理元件中的至少一个处理元件使用神经网络来执行用于车辆感知的车辆感知任务，其中执行车辆感知任务包括对低于第一阈值的值执行激活旁路，以及至少部分地基于第二阈值，执行神经网络的突触和神经元的权重剪枝。该方法还包括至少部分地基于执行车辆感知任务的结果来控制车辆。

背景技术

本公开涉及控制车辆，并且更特别地涉及用于车辆感知系统的神经网络中的激活零旁路和权重剪枝。

机器学习涉及生成和使用能够从数据中学习且对数据作出预测的算法。此类算法通常通过从示例输入构建模型来操作，以便作出数据驱动的预测或决策。已经开发出多种机器学习方法。被称作人工神经网络(ANN)或简称神经网络(NN)的一种此类方法是受生物神经网络的结构和功能启发的学习算法。

NN包括互连人工神经元(节点)组的分级层，其中每个节点层接收下层的输出作为输入。深度神经网络(DNN)是包括一个或多个隐藏节点层的一种类型的NN。前馈NN是其中节点之间的连接不形成循环的NN。也就是说，前馈NN是其中信息仅在一个方向上、向前、从输入节点通过一个或多个隐藏层(如果有的话)的节点移动且最终到输出节点的NN。卷积NN构成包括输入和输出层以及多个隐藏层的一类深度前馈NN。隐藏层通常包括卷积层、池化层、完全连接层和归一化层。本文描述了对常规NN的技术改进。

发明内容

在一个示例性实施方案中，计算机实现的方法包括：在与车辆相关联的相机处捕获多个图像，并将与多个图像相关联的图像数据存储到存储器。该方法还包括将车辆感知任务分派给与存储器通信的加速器的多个处理元件。该方法还包括通过多个处理元件中的至少一个处理元件使用神经网络来执行用于车辆感知的车辆感知任务，其中执行车辆感知任务包括对低于第一阈值的值执行激活旁路，以及至少部分地基于第二阈值，执行神经网络的突触和神经元的权重剪枝。该方法还包括至少部分地基于执行车辆感知任务的结果来控制车辆。

在一个或多个实施方案中，执行权重剪枝还包括执行分析、基于分析来执行权重剪枝、以及调谐权重剪枝。在一个或多个实施方案中，执行权重剪枝还包括确定是否执行附加压缩。在一个或多个实施方案中，执行权重剪枝还包括响应于确定执行附加压缩，重新执行权重剪枝和调谐。在一个或多个实施方案中，执行权重剪枝还包括响应于确定不执行附加压缩，执行变换。在一个或多个实施方案中，执行激活旁路避免执行乘法和累加(MAC)操作，并且其中对高于第一阈值的值执行MAC操作。在一个或多个实施方案中，至少部分地基于所剪枝的操作的百分比和预测误差百分比来确定第一阈值。在一个或多个实施方案中，加速器还包括神经处理单元指令提取器、分派器、1级高速缓存和2级高速缓存。在一个或多个实施方案中，加速器经由存储器通信地耦接到主机中央处理单元，其中加速器是特殊用途处理器，并且其中主机中央处理单元是通用处理器。在一个或多个实施方案中，主机中央处理单元从与车辆相关联的相机接收图像数据，并且将与多个图像相关联的图像数据存储到存储器。

在另一示例性实施方案中，一种系统包括存储器，该存储器具有计算机可读指令；以及处理设备，该处理设备用于执行用于执行方法的计算机可读指令。该方法包括在与车辆相关联的相机处捕获多个图像，并将与多个图像相关联的图像数据存储到存储器。该方法还包括将车辆感知任务分派给与存储器通信的加速器的多个处理元件。该方法还包括通过多个处理元件中的至少一个处理元件使用神经网络来执行用于车辆感知的车辆感知任务，其中执行车辆感知任务包括对低于第一阈值的值执行激活旁路，以及至少部分地基于第二阈值来执行神经网络的突触和神经元的权重剪枝。该方法还包括至少部分地基于执行车辆感知任务的结果来控制车辆。