[发明专利]神经网络模型训练、图像分类、文本翻译方法及装置、设备

权利要求书

1.一种神经网络模型训练方法，其特征在于，所述方法包括：

从内存中获取码字，所述码字对应于神经网络模型的第一权重矩阵；

根据所述码字确定所述神经网络模型的权重矩阵为所述第一权重矩阵，并利用训练数据对所述第一权重矩阵进行训练；

在预设停止条件未被满足时，更新所述码字，得到更新后的码字；

将所述更新后的码字存储在所述内存中；

利用在所述内存中获取的所述更新后的码字确定所述神经网络模型的权重矩阵为第二权重矩阵，并利用训练数据对所述第二权重矩阵进行训练；

在所述预设停止条件被满足时，停止所述神经网络模型的训练。

2.根据权利要求1所述的方法，其特征在于，所述第一权重矩阵为初始权重矩阵时，所述方法还包括：

将所述初始权重矩阵进行划分，以确定所述初始权重矩阵对应的码字。

3.根据权利要求2所述的方法，其特征在于，所述将所述初始权重矩阵进行划分，以确定所述初始权重矩阵对应的码字，包括：

将所述初始权重矩阵划分为k个相同维度的子矩阵；所述k为大于1的正整数；

将所述k个相同维度的子矩阵进行聚类处理，得到所述k个相同维度的子矩阵对应的n个码字，所述n为大于0的正整数，n≤k；

将所述n个码字确定为所述初始权重矩阵对应的码字。

4.根据权利要求3所述的方法，其特征在于，所述将所述k个相同维度的子矩阵进行聚类处理，得到所述k个相同维度的子矩阵对应的n个码字，包括：

将所述k个相同维度的子矩阵分别降维成一维向量，得到k个一维向量；

将所述k个一维向量划分为n个向量组，其中，每个向量组中包含至少一个一维向量；

将所述k个一维向量中属于第i个向量组的所有一维向量中对应位置的元素值进行求平均计算，得到所述第i个向量组中所有一维向量对应的一个码字；其中，i分别取1到n的整数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述预设停止条件未被满足时，在所述内存中释放所述神经网络模型的权重矩阵。

6.根据权利要求1所述的方法，其特征在于，所述在预设停止条件未被满足时，更新所述码字，得到更新后的码字，包括：

在预设停止条件未被满足时，确定所述神经网络模型的第一权重矩阵的权重梯度；

根据所述第一权重梯度，确定码字梯度，并根据所述码字梯度，确定更新后的码字。

7.根据权利要求6所述的方法，其特征在于，所述根据所述权重梯度，确定码字梯度，并根据所述码字梯度，确定更新后的码字，包括：

将所述权重梯度中属于第j个码字对应的子矩阵的权重梯度进行加权求和，得到所述第j个码字对应的码字梯度；其中，j分别取1到n的整数；

对所述第j个码字对应的码字梯度进行优化处理，得到第j个码字的更新量；

利用所述第j个码字的更新量对所述第j个码字进行更新，得到更新后的第j个码字。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取索引，所述索引为所述码字和所述神经网络模型的权重矩阵之间的对应关系。

9.根据权利要求1至8任一所述的方法，其特征在于，所述预设停止条件包括以下一项或多项条件：

所述训练数据对应的结果标签值与所述神经网络模型对所述训练数据的输出结果之差低于预设差值；

所述训练数据对应的结果标签值与所述神经网络模型对所述训练数据的输出结果之差的变化率低于预设变化阈值；

所述神经网络模型中的模型参数的更新次数达到预设更新次数；

所述神经网络模型所采用的损失函数的输出值达到预设阈值；所述损失函数用于衡量所述神经网络模型对所述训练数据的输出结果与所述训练数据对应的结果标签值之间的差距。