[发明专利]神经网络模型的训练方法、存储介质及电子设备

说明书

本发明公开了一种神经网络模型的训练方法、存储介质及电子设备。其中，该方法包括：对神经网络模型训练过程时，对训练使用的数据进行量化操作，使用量化后的小比特数据进行神经网络模型的训练，为了保证神经网络模型的精度，在量化操作后的数据执行目标操作后，再对目标操作后输出的数据执行反量化操作，也就是说，在神经网络模型的量化训练过程中，在保证量化精度损失不大的情况下，可将神经网络模型容量下降至一定的数值，并且运行时的内存也会减少，减少数据搬运的同时可大大降低模型功耗，进而解决了现有技术中，在对神经网络模型进行训练的过程中需要的资源较多的技术问题。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种神经网络模型的训练方法、存储介质及电子设备。

背景技术

随着人工智能的发展，越来越多的神经网络模型被应用于各种场景，例如，识别图像中人脸关键点、识别图像中的人脸表情。在神经网络模型被应用之前，需要对该神经网络模型进行训练，才能满足使用的要求。在对神经网络模型进行训练的过程中，需要考虑训练的时长以及训练时所用的资源。

在相关技术中，在对神经网络模型进行训练的过程中，神经网络模型中的各个运算模块的输入数据往往占用较大的存储空间，例如，当输入数据的数据类型为浮点型(如float32)时，该输入数据占用了32比特的存储空间。进一步，由于输入数据占用了较大的存储空间，因此，各个运算模块对于该输入数据进行处理时，所需要消耗的资源会更多，例如，运算时长，或者，运行时占用的内存。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种神经网络模型的训练方法、存储介质及电子设备，以至少解决现有技术中，在对神经网络模型进行训练的过程中需要的资源较多的技术问题。

根据本发明实施例的一个方面，提供了一种神经网络模型的训练方法，包括：获取第一数据类型的第一输入数值，其中，所述第一输入数值被设置为待训练的神经网络模型中的目标操作的输入数值，所述第一数据类型的所述第一输入数值占的比特数为第一比特数；对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，其中，所述第二数据类型的所述第二输入数值占的比特数为第二比特数，所述第二比特数小于所述第一比特数；对所述第二输入数值执行所述目标操作，得到所述第二数据类型的第一输出数值，所述第二数据类型的所述第一输出数值占的比特数为所述第二比特数；对所述第一输出数值执行反量化操作，得到所述第一数据类型的第二输出数值，所述第一数据类型的所述第二输出数值占的比特数为所述第一比特数；根据所述第二输出数值，对所述神经网络模型进行训练。

根据本发明实施例的另一方面，还提供了一种神经网络模型的训练装置，包括：第一获取单元，用于获取第一数据类型的第一输入数值，其中，所述第一输入数值被设置为待训练的神经网络模型中的目标操作的输入数值，所述第一数据类型的所述第一输入数值占的比特数为第一比特数；量化单元，用于对所述第一输入数值执行量化操作，得到第二数据类型的第二输入数值，其中，所述第二数据类型的所述第二输入数值占的比特数为第二比特数，所述第二比特数小于所述第一比特数；第一操作单元，用于对所述第二输入数值执行所述目标操作，得到所述第二数据类型的第一输出数值，所述第二数据类型的所述第一输出数值占的比特数为所述第二比特数；反量化单元，用于对所述第一输出数值执行反量化操作，得到所述第一数据类型的第二输出数值，所述第一数据类型的所述第二输出数值占的比特数为所述第一比特数；训练单元，用于根据所述第二输出数值，对所述神经网络模型进行训练。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述神经网络模型的训练方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的神经网络模型的训练方法。