[发明专利]一种数据处理的方法、系统、设备及可读存储介质

说明书

本申请公开了一种数据处理的方法，包括：根据获取的网络模型的结构信息将网络模型的每一层标记为关键层或非关键层；根据需要部署的硬件资源信息分别确定关键层的量化位宽范围和非关键层的量化位宽范围；在量化位宽范围内确定网络模型每一层的最优量化位宽；基于网络模型每一层的最优量化位宽对网络模型进行训练得到最优网络模型，并利用最优网络模型进行数据处理。本申请基于最优量化位宽训练得到的最优网络模型在保证网络模型最佳精度的情况下，最大限度地对模型结构进行压缩，实现硬件端的最优部署，进而使得利用该最优网络模型对数据进行处理时的效率得到提高。本申请同时还提供了一种数据处理的系统、设备及可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理的方法、系统、设备及可读存储介质。

背景技术

随着人工智能技术的不断发展，人工智能技术已逐渐应用于日常生活中。在人工智能技术领域，深度学习是较典型的技术之一。虽然深度神经网络在图像分类，检测等方面的能力已接近或超越人类，但在实际部署中，仍然存在模型大，计算复杂度高等问题，对硬件成本要求较高。而在实际应用中，为了降低硬件成本，很多都是将神经网络部署于一些终端设备或者边缘设备上，这些设备一般只有较低的计算能力，而且内存和电量消耗也都受限。

因此要将深度神经网络模型真正实现部署，在保证网络模型精度不变的情况下，将网络模型变小，使其推理更快，耗电更低是非常有必要的。针对这个主题，目前主要有两种研究方向，一种是重新构建一个高效的轻量化模型，另一种则是通过量化，裁剪和压缩来降低模型尺寸。当前模型量化技术方向主要包括两种：无需重新训练的量化(post-training quantization)和基于训练的量化(training-aware quantization)。无论是哪种量化模型，多是研究者基于先验知识预设置量化位宽后再进行量化处理，而较少考虑网络实际模型结构和所需部署的硬件环境，导致预设置的量化位宽无法适合于该网络模型结构的量化，且无法最优部署于相应的硬件环境中，导致利用该网络模型对数据进行处理时的效率较低。

因此，如何提高数据处理的效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据处理的方法、系统、设备及可读存储介质，用于提高数据处理的效率。

为解决上述技术问题，本申请提供一种数据处理的方法，该方法包括：

根据获取的网络模型的结构信息将所述网络模型的每一层标记为关键层或非关键层；

根据需要部署的硬件资源信息分别确定所述关键层的量化位宽范围和所述非关键层的量化位宽范围；

在所述量化位宽范围内确定所述网络模型每一层的最优量化位宽；

基于所述网络模型每一层的最优量化位宽对所述网络模型进行训练得到最优网络模型，并利用所述最优网络模型进行数据处理。

可选的，根据获取的网络模型的结构信息将所述网络模型的每一层标记为关键层或非关键层，包括：

根据所述网络模型的结构信息确定初始网络模型参数，并对所述网络模型的每一层进行排序；

将所述网络模型的第一层标记为所述关键层，并根据所述初始网络模型参数计算所述网络模型中当前层与上一层的特征图之间的相似度；

若所述相似度小于阈值，则将所述当前层标记为所述关键层；

若所述相似度大于或等于所述阈值，则将所述当前层标记为所述非关键层。

可选的，在所述量化位宽范围内确定所述网络模型每一层的最优量化位宽，包括：

根据所述量化位宽范围内量化位宽的数量确定所述网络模型当前层的训练分支的数量；