[发明专利]任务模型训练方法、装置以及系统

说明书

本说明书实施例提供任务模型训练方法、装置以及系统，其中任务模型训练方法，应用于训练设备，包括：在接收到服务器发送的第一子任务模型的情况下，先将本地训练样本输入第一子任务模型，得到输出向量；然后根据稀疏矩阵对输出向量进行稀疏化处理，得到隐层特征向量并发送至服务器；接着接收预测结果，基于预测结果与标签信息确定损失值，并基于损失值获取梯度向量；然后根据梯度向量，更新稀疏矩阵，返回执行将本地训练样本输入第一子任务模型的步骤，直至达到训练停止条件。极大降低了任务模型的迭代次数，同时保证了任务模型的收敛性；在保证收敛速度的前提下降低了任务模型的通信量，提高了训练速度。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种任务模型训练方法。

背景技术

随着计算机技术和人工智能技术的快速发展，深度神经网络(DNN，Deep NeuralNetworks)已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的深度神经网络的结构相对固定，为实现更好的模型性能，就需要更多的训练数据。对于不同的领域，不同的企业或机构拥有不同的训练样本，对这些训练样本进行联合训练，将极大提升深度神经网络模型的精度，给企业带来巨大的经济效益。然而这些原始的训练样本包含大量的用户隐私和机密，一旦信息泄露，将导致不可挽回的负面影响。此外，多方联合计算的样本量巨大，往往在千万级甚至上亿级别，导致训练使用的深度神经网络模型更为复杂。因此，亟需一种有效的方案以解决上述问题。

发明内容

有鉴于此，本说明书施例提供了任务模型训练方法。本说明书一个或者多个实施例同时涉及任务模型训练装置，一种任务模型训练系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种任务模型训练方法，应用于训练设备，包括：

在接收到服务器发送的第一子任务模型的情况下，将本地训练样本输入所述第一子任务模型，得到输出向量，所述第一子任务模型为所述服务器对预训练的任务模型进行拆分得到；

根据稀疏矩阵对所述输出向量进行稀疏化处理，得到隐层特征向量，将所述隐层特征向量发送至所述服务器；

接收所述服务器发送的预测结果，基于所述预测结果与所述本地训练样本的标签信息确定损失值，并基于所述损失值获取梯度向量，所述预测结果为所述服务器将所述隐层特征向量输入第二子任务模型确定，所述第二子任务模型为所述服务器对预训练的任务模型进行拆分得到；

根据所述梯度向量，更新所述稀疏矩阵，返回执行所述将本地训练样本输入所述第一子任务模型的步骤，直至达到训练停止条件。

可选地，在所述将本地训练样本输入所述第一子任务模型之前，还包括：

在接收到服务器发送的任务模型的情况下，根据本地训练样本对所述任务模型进行训练，得到初始任务模型；

将所述初始任务模型和所述初始任务模型对应的训练样本量发送至所述服务器，以使所述服务器基于各训练设备发送的初始任务模型和训练样本量确定预训练的任务模型。

可选地，所述根据本地训练样本对所述任务模型进行训练，得到初始任务模型，包括：

根据本地训练样本对所述任务模型进行迭代训练；

在迭代次数达到预设迭代值时，停止迭代训练，得到初始任务模型。

可选地，所述根据稀疏矩阵对所述输出向量进行稀疏化处理之前，还包括：

随机选择所述稀疏矩阵中的N个元素，N为任意自然数；

将所述N个元素对应的数值设置为第一预设数值，将其他元素对应的数值设置为第二预设数值，所述其他元素为所述稀疏矩阵中所述N个元素以外的元素。