[发明专利]多核机器学习处理器的编制在审
申请号: | 202210645102.3 | 申请日: | 2022-06-08 |
公开(公告)号: | CN115456190A | 公开(公告)日: | 2022-12-09 |
发明(设计)人: | M·N·莫迪;K·德萨班;K·S·奇特尼斯;P·K·斯瓦米;K·P·拉韦里;P·S·叶亚迪阿纳南塔;S·加干纳坦 | 申请(专利权)人: | 德克萨斯仪器股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06N3/08;G06N3/04 |
代理公司: | 北京纪凯知识产权代理有限公司 11245 | 代理人: | 徐东升 |
地址: | 美国德*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 多核 机器 学习 处理器 编制 | ||
本申请题为“多核机器学习处理器的编制”。用于执行机器学习(ML)模型的技术包括:接收运行ML模型(504C)的指示;接收用于组织ML模型(504C)关于其他ML模型(504)的运行的同步信息(506);基于同步信息(506)确定延迟(506C)运行ML模型(504C);延迟(506C)ML模型(504C)的运行;基于同步信息(506)确定运行ML模型(504C)的时间(CN+1);以及在该时间(CN+1)运行ML模型(504C)。
背景技术
机器学习(ML)正在成为计算领域中越来越重要的部分。机器学习是人工智能(AI)的分支,并且ML帮助使软件系统能够学习从数据中辨识模式,而无需为此直接编程。神经网络(NN)是一种类型的ML,它利用一组链接和分层的函数(例如节点、神经元等),这些函数被加权来评估输入数据。在一些NN(有时称为卷积神经网络(CNN))中,基于接收到的输入和权重在NN层中执行卷积操作,而不是在传统NN中使用的矩阵乘法。CNN中的层可以执行多种类型的函数,包括但不限于卷积、反卷积、池化(pooling)、上采样等。CNN通常用于广泛的应用中,通常用于辨识和分类,诸如图像辨识和分类、预测和推荐系统、语音和语言辨识和翻译等。
随着ML变得越来越有用,期望在计算和存储器资源相对有限的设备(诸如嵌入式设备或其他低功率设备)中有效地执行复杂的ML技术(诸如NN和CNN)。为了帮助有效地运行给定的ML模型,可以分析和优化ML模型以针对要使用的目标硬件资源对如何运行ML模型进行裁剪。
发明内容
本公开涉及用于执行机器学习(ML)模型的技术。该技术包括:接收运行ML模型的指示;接收用于组织ML模型关于其他ML模型的运行的同步信息;基于同步信息确定延迟运行ML模型;延迟ML模型的运行;基于同步信息确定运行ML模型的时间;以及在该时间运行ML模型。
本公开的另一方面涉及一种非暂态程序存储设备,其包括存储在其上的指令,以使一个或多个处理器进行以下操作:接收一组ML模型,模拟在目标硬件上运行该组ML模型以确定该组ML模型中的ML模型所需的资源以及时序信息,基于该模拟确定延迟运行该组ML模型中的一个或多个ML模型,以及基于该确定生成同步信息。
本公开的另一方面涉及一种电子设备,其包括存储器和可操作地耦合到该存储器的一个或多个处理器,其中该一个或多个处理器被配置为执行指令以使一个或多个处理器进行以下操作:接收运行机器学习(ML)模型的指示;接收用于组织ML模型关于其他ML模型的运行的同步信息;基于同步信息确定延迟运行ML模型;延迟ML模型的运行;基于同步信息确定运行ML模型的时间;以及在该时间运行ML模型。
附图说明
对于各种示例的详细描述,现在将参考附图,其中:
图1示出根据本公开的一些方面的示例神经网络ML模型。
图2是根据本公开的一些方面的包括用于执行ML模型的硬件的设备的框图。
图3是根据本公开的一些方面的用于针对目标硬件准备ML模型的过程的框图。
图4是示出根据本公开的一些方面的跨计算内核的ML模型执行的时间线。
图5是示出根据本公开的一些方面的跨计算内核的ML模型执行的时间线。
图6A-图6B是示出根据本公开的一些方面的用于协调ML模型执行的上下文信息的表格。
图7是示出根据本公开的一些方面的漏桶优化方案的流程图。
图8是示出根据本公开的一些方面的上下文信息锁定的框图。
图9是根据本公开的一些方面的用于优化ML模型执行的过程的框图。
图10是示出根据本公开的一些方面的用于同步ML模型的技术的流程图。
图11是示出根据本公开的一些方面的用于同步ML模型的技术的流程图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于德克萨斯仪器股份有限公司,未经德克萨斯仪器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210645102.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:波传播控制增强
- 下一篇:一种显示方法、装置、储存介质和系统