[发明专利]一种模型训练方法、工作节点及参数更新服务器有效
| 申请号： | 201910362862.1 | 申请日： | 2019-04-30 |
| 公开（公告）号： | CN110097188B | 公开（公告）日： | 2021-07-06 |
| 发明（设计）人： | 李必然;吕亚飞;刘凯;刘远东 | 申请（专利权）人： | 科大讯飞股份有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 张小娜;王宝筠 |
| 地址： | 230088 安徽*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种模型训练方法、工作节点及参数更新服务器，该方法包括：根据第一模型的任务类型，确定第一模型中各个网络层的目标计算精度，并基于第一模型中各个网络层的目标计算精度，利用第一模型的训练数据进行前向计算和后向计算，得到第一模型的各个网络层的网络参数的目标梯度值，以便根据该目标梯度值对第二模型进行参数更新。由于不同任务类型所需求的计算精度不同，因而，根据任务类型确定的目标计算精度更适应于该任务类型对精度的需求，从而使得在第一模型基于目标计算精度进行计算的过程中，不但可以减少在工作节点上的资源消耗和提升在工作节点上的计算加速，还可以降低因第一模型的计算精度损失带来的对第二模型的训练效果损失。 | ||
| 搜索关键词： | 一种 模型 训练 方法 工作 节点 参数 更新 服务器 | ||
【主权项】：
1.一种模型训练方法，其特征在于，所述方法应用于一种工作节点，所述方法包括：根据第一模型的任务类型，确定所述第一模型中各个网络层的目标计算精度；基于所述目标计算精度，利用所述第一模型的训练数据进行前向计算和后向计算，得到所述第一模型的各个网络层的网络参数的目标梯度值；根据所述目标梯度值，对第二模型进行参数更新，完成本轮训练；其中，在对所述第二模型进行参数更新之前，所述第一模型与所述第二模型的网络结构和网络参数相同、且所述第一模型中的全部或部分网络层的计算精度低于所述第二模型的网络层的计算精度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司，未经科大讯飞股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910362862.1/，转载请声明来源钻瓜专利网。
