[发明专利]模型训练方法、装置、计算机设备及存储介质

说明书

本申请公开了一种模型训练方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：获取第一训练样本集；对第一训练样本集中的部分训练样本添加噪声，得到第二训练样本集；根据第二训练样本集，对初始模型进行迭代训练，得到训练后的所述初始模型，作为目标模型，初始模型中伪量化节点用于根据目标参数精度对特征处理层的输出进行量化操作以及反量化操作，目标模型用于根据目标参数精度对模型参数进行精度量化后，部署于电子设备中。如此，在量化训练过程中，为输入的部分训练样本添加了噪声，可以提高模型的鲁棒性和泛化能力，提高了量化训练的量化精度，同时也提高了电子设备端的部署精度。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型训练方法、装置、计算机设备及存储介质。

背景技术

随着深度学习技术的发展，神经网络的应用也日益走向成熟。目前神经网络模型已经被广泛应用于工业界和人们日常生活的各个业务场景中。而其中一些领域(如工业领域)通常对神经网络模型的精度与延时有着十分严格的要求，需要部署在终端上的模型能够保持高精度的同时，具有较低的延迟，以充分满足业务需求。为达成这一目标，诸多神经网络压缩及优化技术被深入研究，其中就包括模型量化这种经典的模型优化方法。

由于在对模型的网络参数进行量化(即将高精度的网络参数压缩为低精度的网络参数，如将浮点精度的网络参数压缩为整数精度的网络参数)的过程中会产生一定的误差，即先将高精度的网络参数压缩为带有一定量化误差的低精度的网络参数，再将该带有量化误差的低精度的网络参数还原为高精度的网络参数，但此时的高精度网络参数带有量化误差，而后再对这一次训练完成后的模型中对应的网络参数进行量化处理。但是这样的优化过程，会降低模型端侧部署的精度，对于一些精度要求较为严格的端侧业务来说无法满足其业务需求。因此，如何在保证模型精度的前提下，对模型进行优化已成为一个亟待解决的问题。

发明内容

本申请提出了一种模型训练方法、装置、计算机设备及存储介质，以提高模型的量化精度。

第一方面，本申请实施例提供了一种模型训练方法，应用于计算机设备，所述方法包括：获取第一训练样本集，所述第一训练样本集中的每个训练样本携带有标签信息；对所述第一训练样本集中的部分训练样本添加噪声，得到对所述部分训练样本添加噪声后的所述第一训练样本集，作为第二训练样本集；根据所述第二训练样本集，对初始模型进行迭代训练，得到训练后的所述初始模型，作为目标模型，所述初始模型中包括特征处理层以及与所述特征处理层相连的伪量化节点，所述伪量化节点用于根据目标参数精度对所述特征处理层的输出进行量化操作以及反量化操作，所述目标模型用于根据目标参数精度对模型参数进行精度量化后，部署于电子设备中。

第二方面，本申请实施例提供了一种模型训练装置，应用于计算机设备，所述装置包括：样本集获取模块、噪声添加模块和模型训练模块。样本集获取模块，用于获取第一训练样本集，所述第一训练样本集中的每个训练样本携带有标签信息；噪声添加模块，用于对所述第一训练样本集中的部分训练样本添加噪声，得到对所述部分训练样本添加噪声后的所述第一训练样本集，作为第二训练样本集；模型训练模块，用于根据所述第二训练样本集，对初始模型进行迭代训练，得到训练后的所述初始模型，作为目标模型，所述初始模型中包括特征处理层以及与所述特征处理层相连的伪量化节点，所述伪量化节点用于根据目标参数精度对所述特征处理层的输出进行量化操作以及反量化操作，所述目标模型用于根据目标参数精度对模型参数进行精度量化后，部署于电子设备中。

第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。