[发明专利]一种面向点云的高效二值化神经网络量化方法及装置

说明书

本发明公开了一种面向点云的高效二值化神经网络量化方法及装置。该方法使用熵最大化的聚合函数和逐层尺度恢复步骤，使点云神经网络可以通过训练过程中最小化损失函数，达到信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。本发明与按位运算完全兼容，具有快速推断量化神经网络的优点。事实表明，本发明在各种网络架构中的表现非常出色，在内存消耗，推理速度和准确性方面优于现有技术。

技术领域

本发明涉及一种神经网络量化方法，尤其涉及一种面向点云的高效二值化神经网络量化方法，同时也涉及相应的神经网络量化装置，属于深度学习技术领域。

背景技术

点云(Point Cloud)，尤其是点云神经网络，已在各种计算机视觉应用，如自动驾驶、增强现实等中得到越来越多的关注。传统的点云通常具有海量参数和高计算完备性，针对单一任务的训练和推断过程需要耗费大量的时间。造成这一问题的主要原因是：目前在各个任务上取得最好成绩的模型普遍采用具有全精度的神经网络，使得这些模型需要使用大量的存储资源。同时许多应用程序需要实时交互和快速响应，但是点云的训练和推断过程中需要产生数量巨大的浮点数运算操作，例如，斯坦福大学的Charles R.Qi等人提出的PointNet具有大约3.5E6个参数，并且需要4.4E8个FLOP来处理单个样本。这在很大程度上限制了点云在诸如移动电话、平板电脑、相机等便携式设备上的应用。

近年来，研究者们已经提出了许多方法，使得深度神经网络能够在计算和存储资源有限的便携式设备上应用，包括网络权重量化、权值修剪、低秩分解、哈希映射，以及轻量级架构设计。其中，基于量化的方法以较低的比特数表示网络中的参数，但仍然能够得到较高的网络准确率和高度紧凑的神经网络模型。例如，神经网络模型的全二值化方法，将网络中原本32位的浮点数参数量化至1位表示，节省了参数的存储空间，能够最大程度地降低神经网络模型的存储占用消耗；同时将原本参数的计算由浮点数运算转化为位运算，减小了神经网络的计算量，极大地加速了网络推断过程。

在申请号为201910599176.6的中国发明申请中，公开了一种平衡二值化神经网络量化方法及系统。该方法包括如下步骤：S1，对于神经网络中的网络权重进行平衡标准二值化操作，得到二值化网络权重；S2，对于神经网络中的网络激活值进行平衡二值化操作，得到二值化网络激活值；S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。该方法使用平衡标准化的二值化网络权重和平衡二值化的网络激活值，使神经网络可以通过训练过程中最小化损失函数，达到网络激活值信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化神经网络的分类性能。但是，该方法不能简单地转移到点云神经网络中，仍然存在很多需要解决的技术问题。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种面向点云的高效二值化神经网络量化方法。

本发明所要解决的另一技术问题在于提供一种面向点云的高效二值化神经网络量化装置。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种面向点云的高效二值化神经网络量化方法，包括如下步骤：

在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；

在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。

其中较优地，在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤：在特征聚合层利用熵最大化的聚合函数进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。