[发明专利]用于训练深度学习模型的方法和制品、以及计算系统有效
| 申请号： | 201810878224.0 | 申请日： | 2018-08-03 |
| 公开（公告）号： | CN110795228B | 公开（公告）日： | 2023-08-25 |
| 发明（设计）人： | 崔嵬;李三平;王鲲 | 申请（专利权）人： | 伊姆西IP控股有限责任公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F9/455;G06F15/163 |
| 代理公司： | 北京市金杜律师事务所 11256 | 代理人： | 王茂华;丁君军 |
| 地址： | 美国马*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及用于训练深度学习模型的方法和制品、以及计算系统。提供了用于实现自适应批量数据集划分控制过程的系统和方法，该过程与分布式深度学习模型训练过程被结合使用以优化加速器资源集之间的负载平衡。迭代批量大小调整过程被配置为确定用于将小批量数据集划分成子批量数据集的最优作业划分比率，以用于由混合加速器资源集进行处理，其中子批量数据集被划分成最优批量大小，以用于由相应的加速器资源进行处理，以最小化用于完成深度学习模型训练过程的时间。 | ||
| 搜索关键词： | 用于 训练 深度 学习 模型 方法 制品 以及 计算 系统 | ||
【主权项】：
1.一种方法，包括：/n在计算系统的一个或多个服务器节点上提供多个加速器资源以执行分布式深度学习模型训练过程以训练深度学习模型；/n将训练数据集划分成多个小批量数据集；/n根据初始默认作业划分比率将初始小批量数据集划分成多个子批量数据集；/n通过所述加速器资源中的每个加速器资源处理所述初始小批量数据集的所述子批量数据集中对应的一个子批量数据集来执行所述分布式深度学习模型训练过程的初始小批量迭代；以及/n执行迭代批量大小调整过程以迭代地调整作业划分比率，以用于所述分布式深度学习模型训练过程的后续小批量迭代，其中所述迭代批量大小调整过程包括：/n确定针对所述加速器资源中的每个加速器资源的作业完成时间，以完成所述初始小批量数据集的所述子批量数据集中所述对应的一个子批量数据集的处理；/n确定由于针对所述初始小批量迭代的所述初始默认作业划分比率导致的所述加速器资源的所述作业完成时间的标准偏差；/n将所确定的所述标准偏差与预定的标准偏差阈值进行比较；/n以及/n响应于所述作业完成时间的所确定的所述标准偏差超过所述预定的标准偏差阈值，调整所述作业划分比率，以用于将下一小批量数据集划分成子批量数据集，以用于所述分布式深度学习模型训练过程的下一小批量迭代。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于伊姆西IP控股有限责任公司，未经伊姆西IP控股有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810878224.0/，转载请声明来源钻瓜专利网。
