[发明专利]基于神经网络特征识别的数据压缩方法

说明书

本发明公开了基于神经网络特征识别的数据压缩方法。本发明方法首先对神经网络识别模型的特征数据进行约束，然后对模型进行重训练，模型经验证集测试，若测试结果满足要求，则固化模型参数，得到推断模型，该推断模型输出的特征数据的分布满足后续压缩需求。根据推断模型和库数据得到类特征数据。对类特征数据进行量化，然后对类内特征数据依次按特征相近度排序，依据排序结果进行差值存储，实现类内特征数据压缩。得到压缩后的特征比对库，结合推断模型，将其部署到实际的设备中。本发明方法部署到存储有限的离线端或移动端设备的模型，在保证模型的鲁棒识别性能基础上，既降低了库模型所需内存，又不额外增加解码计算量。

技术领域

本发明属于计算机技术领域，尤其是神经网络识别技术领域，具体涉及一种基于神经网络特征识别的数据压缩方法。

背景技术

近年来，以神经网络为代表的深学习技术在诸多领域取得了很大突破，但在技术实际落地的过程中遇到很多挑战。如模型的参数量和计算量过大，而设备内存不足，难以实际部署；或受限于实际模型的推断延迟过长，无法满足现实中的实时性要求。尤其在离线端需要进行边缘计算任务时，受限于设备的存储能力和存储代价，模型所需的存储空间往往是受限的，所以降低模型所需的内存是十分必要的。

神经网络一般分为训练模式和推断模式，实际中部署需求的是推断模型。为了推断模型具有更强的鲁棒性，降低模型的过拟合风险，通常在训练模式下，在神经网络模型中加入约束条件。如dropout、正则化等策略，且这些策略是在模型的权重方面做约束。

针对基于神经网络特征识别的模型，在实际使用中，为了模型具有更鲁棒的识别性能，特征比对库中每个类会包含多个特征。只有当输入的待匹配特征与特征比对库中的特征满足一定的匹配个数，才会输出匹配成功的类。即在实际部署这类模型时，除了考虑神经网络模型的参数大小和计算内存，还要考虑额外的特征比对库数据存储空间。若特征比对库所需过大，将给模型部署带来较大的难度。解决办法：一方面，可以增大设备的内存空间，但会提升设备的成本；另一方面，很可能设备本身无法扩大其内存空间，这就要压缩模型的所需内存。

目前关于神经网络模型压缩的问题，提出了很多方法。包括：模型的剪枝处理(结构化剪枝和非结构化剪枝)，但合理的剪枝比例，需要搜索得到；神经网络知识蒸馏方法，需要重构模型并训练；基于张量分解的方法，不仅张量分解过程计算量大,而且分解后模型优化时难以获得全局最优解；此外还有直接设计轻量级的神经网络方法。这些方法都是在网络模型方面做处理。

针对数据库压缩的问题，虽然现有的压缩方法可以达到很高的压缩率，但压缩率越高的方法，其对应的压缩算法往往也越复杂，相应的解码过程也会很复杂。若采用这种复杂的压缩方法进行压缩，会为模型的比对任务带来额外的解码计算量。这些额外的计算量，会导致推断模型的延迟增长，严重的甚至导致模型无法实际部署。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于神经网络特征识别的数据压缩方法。本发明方法是在不增加额外的特征比对计算量的同时，压缩特征比对库的所需内存大小，提出的一种基于神经网络特征识别的数据压缩方法。

本发明方法具体是：

步骤(1).对神经网络识别模型的输出特征数据进行约束；

所述的神经网络为卷积神经网络(CNN)、循环神经网络(RNN)或深度神经网络(DNN)，至少选取一层的网络特征作为输出特征数据。

网络层结构的卷积神经网络(CNN)为传统的卷积、分组卷积或分离卷积的形式。

根据特征数据选择约束条件，如果要求特征数据符合正态分布，则采用L2范数约束，如果要求特征数据集符合稀疏分布，则采用L0范数或L1范数约束。L0、L1、L2表示向量的范数。

步骤(2).对输出特征数据约束后的神经网络模型，进行模型训练。具体是：