[发明专利]一种高维度深度学习模型的收敛方法和装置

摘要

本发明实施例公开了一种高维度深度学习模型的收敛方法和装置。所述方法包括根据误差表面的第一位置，对模型进行一次单位迭代，以确定模型的解在误差表面的第二位置；根据一次单位迭代，确定第二位置相对于误差表面的梯度和曲率，以及根据第一位置和第二位置确定模型的解的精度增长效率和模型误差；根据所述梯度、曲率、精度增长效率和模型误差，确定第二位置是否为误差表面的鞍点或高噪点；在所述误差表面的第二位置为鞍点或高噪点时，调整下一次单位迭代的批量数。本发明实施例根据鞍点或高噪来确定模型在下一批次迭代时的批量数。由此实现了，通过调适迭代过程中梯度和随机估计噪音量来优化模型的解的精度增长效率和逃脱鞍点。

主权项

1.一种模型的收敛方法，其特征在于，所述方法包括：根据误差表面的第一位置，对模型采用小批量随机梯度下降的方法进行一次单位迭代，以确定模型的解在误差表面的第二位置，其中，所述一次单位迭代是以批量数为N，对模型进行N次迭代，所述模型包括至少X轴、Y轴和Z轴三个维度,所述误差表面是模型的解的集合，N为大于等于1的正整数，所述第一位置为当前模型的解在误差表面的位置，所述第二位置为模型在第一位置进行一次单位迭代后模型的解在误差表面的位置；根据所述一次单位迭代，确定第二位置相对于误差表面的梯度和曲率，以及根据所述第一位置和所述第二位置确定模型的解的精度增长效率和模型误差，所述模型误差为前计算的第二位置的实际值与理想值的差距；根据所述梯度、曲率、模型的解的精度增长效率和模型误差，确定第二位置是否为误差表面的鞍点或高噪点；在所述误差表面的第二位置为鞍点或高噪点时，调整下一次单位迭代的批量数，使对模型采用小批量随机梯度下降的方法进行下一次单位迭代时，避免模型的解在误差表面的第三位置为鞍点或高噪点，所述第三位置为模型在第二位置进行一次单位迭代后模型的解在误差表面的位置。