[发明专利]模型训练方法及装置、电子设备和介质

说明书

本公开提供了一种模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及计算机领域，尤其涉及深度学习技术领域。实现方案为：确定待训练模型的损失函数梯度的约束条件；对损失函数梯度的多个参数分别进行离散化取值，以获得多个参数组，该多个参数组中的每一个参数组包括该多个参数中的每一个参数离散化取值所获得的相应参数值，该多个参数组中的任意两个参数组之间至少一个参数的参数值不同；通过参数寻优方法确定满足约束条件的第一梯度值集合，第一梯度值集合中的每一个梯度值与该多个参数组分别对应；以及对待训练模型进行训练，以基于第一梯度值集合确定每次训练过程所对应的梯度值进行反向传播。

技术领域

本公开涉及计算机领域，尤其涉及深度学习技术领域，具体涉及一种模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

随着人工智能的发展，机器学习模型应用的范围越来越广泛。而损失函数是机器学习模型中的重要组成部分。不同的学习任务所需要的损失函数有所不同。通常，依赖于专家经验，设计出相应的损失函数以进行模型训练。但是依赖专家经验所设计出的损失函数并不一定适用于任务本身，且迭代慢。

发明内容

本公开提供了一种模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种模型训练方法，包括：确定待训练模型的损失函数梯度的约束条件；对所述损失函数梯度的多个参数分别进行离散化取值，以获得多个参数组，其中所述多个参数组中的每一个参数组包括所述多个参数中的每一个参数离散化取值所获得的相应参数值，所述多个参数组中的任意两个参数组之间至少一个参数的参数值不同；通过参数寻优方法确定满足所述约束条件的第一梯度值集合，所述第一梯度值集合中的每一个梯度值与所述多个参数组分别对应；以及对所述待训练模型进行训练，以基于所述第一梯度值集合确定每次训练过程所对应的梯度值进行反向传播。

根据本公开的另一方面，提供了一种信息推荐方法，包括：基于本公开的一个方面所述的方法所训练得到的模型获取预测的用户对于待推荐信息的交互行为数据；以及基于所述交互行为数据对所述待推荐信息进行推荐，其中，所述交互行为数据包括以下项所组成的组中的至少一个：点击率、停留时长。

根据本公开的另一方面，提供了一种模型训练装置，包括：第一确定单元，配置为确定待训练模型的损失函数梯度的约束条件；离散化单元，配置为对所述损失函数梯度的多个参数分别进行离散化取值，以获得多个参数组，其中所述多个参数组中的每一个参数组包括所述多个参数中的每一个参数离散化取值所获得的相应参数值，所述多个参数组中的任意两个参数组之间至少一个参数的参数值不同；第二确定单元，配置为通过参数寻优方法确定满足所述约束条件的第一梯度值集合，所述第一梯度值集合中的每一个梯度值与所述多个参数组分别对应；以及训练单元，配置为对所述待训练模型进行训练，以基于所述第一梯度值集合确定每次训练过程所对应的梯度值进行反向传播。

根据本公开的另一方面，提供了一种信息推荐装置，包括：获取单元，配置为基于本公开的一个方面所述的方法所训练得到的模型获取预测的用户对于待推荐信息的交互行为数据；以及推荐单元，配置为用于基于所述交互行为数据对所述待推荐信息进行推荐，其中，所述交互行为数据包括以下项所组成的组中的至少一个：点击率、停留时长。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开所述的方法。