[发明专利]使用数据回声减少机器学习训练系统的空闲的系统和方法在审
申请号: | 202010459362.2 | 申请日: | 2020-05-25 |
公开(公告)号: | CN112183760A | 公开(公告)日: | 2021-01-05 |
发明(设计)人: | D.崔;A.T.帕索斯;C.J.谢吕;G.E.达尔 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 金玉洁 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 使用 数据 回声 减少 机器 学习 训练 系统 空闲 方法 | ||
用于减少机器学习训练系统中的空闲的方法可以包括通过计算设备执行操作。第一训练操作集合可以访问并准备训练数据集合的多个训练示例。第二训练操作集合可以至少部分地基于训练数据集合来训练机器学习模型,并且可以包括一个或多个重复迭代,其中第二训练操作集合的至少一部分被重复执行,使得训练示例被重复用于训练机器学习模型。重复迭代的速率可以至少部分地基于回声因子,回声因子可以至少部分地基于第一训练操作集合的第一计算时间与第二训练操作集合的第二计算时间的比较。
技术领域
本公开通常涉及机器学习模型的训练。更具体地,本公开涉及一种用于减少机器学习训练系统中的空闲的系统和方法。
背景技术
机器学习模型的训练通常可以分为数据预处理步骤和使用处理数据的后续训练步骤。数据预处理步骤通常可能比后续训练步骤花费更长的时间。例如,已经开发出可以大大提高并行处理速度的专用硬件,这在训练步骤中很常见。在各种情况下,这样的专用硬件可以被称为“加速”硬件、“加速器”、专用集成电路(ASIC)和/或其他术语。示例专用硬件包括图形处理单元(GPU)、张量处理单元(TPU)和/或类似物。由于这种专用硬件(和其他因素),当预处理的训练数据间歇性变得可用时,训练步骤的执行可以开始和停止。因此,在本领域中将欢迎用于减少机器学习训练系统中的空闲的系统和方法。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述,或者可以从描述中获悉,或者可以通过实施例的实施而获知。
本公开的一个示例方面涉及一种用于减少机器学习训练系统中的空闲的方法,可以包括:由一个或多个计算设备执行第一训练操作集合,以访问并准备在训练数据集合中包括的多个训练示例;以及由一个或多个计算设备执行第二训练操作集合,以至少部分地基于训练数据集合来训练机器学习模型。执行第二训练操作集合可以包括:由一个或多个计算设备执行一个或多个重复迭代,其中对在训练数据集合中包括的多个训练示例中的至少一个训练示例重复执行第二训练操作集合的至少一部分,使得至少一个训练示例被重复用于训练机器学习模型。一个或多个重复迭代的速率可以至少部分基于回声因子,所述回声因子至少部分基于与执行第一训练操作集合相关联的第一计算时间和与执行第二训练操作集合相关联的第二计算时间的比较。
本公开的另一个示例方面涉及一种计算系统,被配置为基于可以包括多个训练示例的训练数据集合来执行训练处理以训练机器学习模型。所述计算系统可以包括:计算机可读存储盘,被配置为存储多个训练示例;以及第一硬件组件集合,被配置为运行第一训练操作集合,以从计算机可读存储盘访问多个训练示例,准备用于训练机器学习模型的多个训练示例,并在中间数据缓冲器中存储准备的训练示例。中间数据缓冲器可以被配置存储准备的训练示例。所述计算系统可以包括第二硬件组件集合,被配置为运行第二训练操作集合,以从中间数据缓冲器访问准备的训练示例,并使用准备的训练示例来训练机器学习模型。第二硬件组件集合可以被配置为执行一个或多个重复迭代,其中第二硬件组件集合从中间数据缓冲器重复访问至少一个准备的训练示例,并重复使用至少一个准备的训练示例以训练机器学习模型。第二硬件组件集合被配置执行一个或多个重复迭代的速率至少部分基于回声因子,所述回声因子至少部分基于与由第一硬件组件集合执行第一训练操作集合相关联的第一计算时间和与由第二硬件组件集合执行第二训练操作集合相关联的第二计算时间的比较。
本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求,将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出本公开的示例实施例,并且与描述一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论,在附图中:
图1A描绘了根据本公开的示例实施例的用于减少机器学习训练系统中的空闲的示例计算系统的框图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010459362.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:集成电路、半导体装置
- 下一篇:衣物处理装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置