[发明专利]模型训练方法、装置及计算机可读存储介质

说明书

本发明涉及一种人工智能技术，揭露了一种模型训练方法，包括：在Python环境下，通过搭建pyTorch框架构建卷积神经网络模型；接收批量训练数据集，对所述批量训练数据集进行标准化处理，得到预备数据；利用所述卷积神经网络模型对所述预备数据进行过滤处理，得到标准数据，计算所述标准数据的反向梯度值，进行梯度累计求和，得到反向梯度累计值；对所述反向梯度累计值进行梯度下降运算，得到新梯度值，将所述新梯度值进行梯度累计求和，得到下降梯度累计值；利用所述反向梯度累计值和下降梯度累计值对所述卷积神经网络模型训练，输出经过训练的所述卷积神经网络模型。本发明还提出一种模型训练装置以及一种计算机可读存储介质。本发明实现了模型的高效训练。

技术领域

本发明涉及人工智能领域，尤其涉及一种大规模的模型训练方法、装置及计算机可读存储介质。

背景技术

目前深度学习技术发展迅速，对深度学习的研究也持续深入。但是，深度学习的效率和速度常常受制于GPU的运算性能，无论是在含有1.5亿个参数的语言模型还是馈入3000万个元素输入的元学习神经网络，都只能在GPU上处理很少的训练样本，这样导致了模型训练速度慢，并且准确度不高。如果通过单纯提高GPU的硬件性能的方式来提高模型训练的效率，成本高昂，效益不佳，应用范围很窄。所以在多数情况下，利用现有的先进框架，结合高效的算法来提高训练的速度，是最具性价比的方法。

发明内容

本发明提供一种模型训练方法、装置及计算机可读存储介质，其主要目的在于当用户在模型训练时，给用户呈现出高效的训练方法。

为实现上述目的，本发明提供的一种模型训练方法，包括：

在Python环境下，通过调用命令导入torch.optim包和torch.nn包构建pyTorch框架，创建卷积神经网络模型；

接收批量训练数据集，对所述批量训练数据集进行标准化处理，得到预备数据；

利用所述卷积神经网络模型对所述预备数据进行过滤处理，得到标准数据，计算所述标准数据的反向梯度值，并对所述反向梯度值进行梯度累计求和，得到反向梯度累计值；

对所述反向梯度累计值进行梯度下降运算，得到新梯度值，并将所述新梯度值进行梯度累计求和，得到下降梯度累计值；

对所述反向梯度累计值和下降梯度累计值进行稀疏化运算，提取出所述反向梯度累计值和下降梯度累计值之间的强相关性的特征，并计算出所述特征的权重值，进行反向传递，从而对所述卷积神经网络模型的参数进行修正，直至所述卷积神经网络模型的参数收敛曲度小于预设收敛曲度时完成训练；

输出经过训练的所述卷积神经网络模型。

可选地，所述批量训练数据集的格式设置为.csv格式；以及所述标准化处理，得到标准数据包括：设置所述批量训练数据集的批尺寸参数值为标准值64，得到所述预备数据。

可选地，所述利用所述卷积神经网络对所述预备数据进行过滤处理，得到标准数据，包括：

通过所述卷积神经网络的第一层卷积层和所述预备数据进行卷积运算，滤除所述预备数据中的异常值，得到合法数据；

将所述的合法数据以向量的形式与所述卷积神经网络的第二层卷积层中的卷积核进行运算，得到所述标准数据。

可选地，所述对所述反向梯度累计值进行梯度下降运算，得到新梯度值，并对所述新梯度值进行梯度累计求和，得到下降梯度累计值，包括：

根据预设的步距和方向向量对所述标准数据的反向梯度累计值进行预设次数的的梯度下降运算，得到新的梯度值，将所述新的梯度值做梯度累计求和运算，得到所述下降梯度累计值，其中当所述新梯度值趋于收敛时，停止梯度下降运算。

可选地，所述对所述反向梯度累计值和下降梯度累计值进行稀疏化运算，包括：