[发明专利]用于优化机器学习模型的执行的方法和设备

说明书

本文描述了用于优化机器学习模型的执行的方法和设备。公开了用于优化机器学习模型的执行的方法、设备、系统和制品。示例设备包括量化器，该量化器用于基于执行约束对模型的层进行量化，该模型的层由矩阵表示。打包器，该打包器用于打包矩阵的经量化的层以创建由经打包的矩阵表示的经打包的层，该经打包的矩阵具有沿矩阵的行或列中的至少一者被一起编组的矩阵的非零值。分块器，该分块器用于通过将经打包的矩阵中的非零值划分成块来将经打包的层分块成经分块的层。融合器，该融合器用于将经分块的层融合到流水线中。封装器，该封装器用于将流水线封装成二进制件。

技术领域

本公开总体上涉及机器学习，并且更具体地涉及用于优化机器学习模型的执行的方法和设备。

背景技术

包括机器学习(ML)、深度学习(DL)和/或其他人工机器驱动逻辑的人工智能(AI)使机器(例如计算机、逻辑电路等)能够使用模型来处理输入数据以便基于模型先前经由训练过程学习的模式和/或关联来生成输出。例如，可以利用数据来训练模型以识别模式和/或关联，并且在处理输入数据时遵循这样的模式和/或关联，使得(多个)其他输入导致与所识别的模式和/或关联一致的(多个)输出。

附图说明

图1是示例神经网络的示意性图示。

图2是用于优化机器学习模型的执行的示例系统的框图。

图3是具有将由异构硬件执行的节点组的示例神经网络的示意性图示。

图4是表示可被执行以实现图2的示例量化模型生成器的机器可读指令的流程图。

图5是表示示例流水线算法的框图。

图6是表示具有计算根的示例流水线算法的框图。

图7是表示具有量化根的示例流水线算法的框图。

图8是被构造用于执行图4中的指令以实现图2中的量化模型生成器的示例处理平台的框图。

这些图并未按比例绘制。一般来说，在整个附图和所附书面描述中将使用相同的附图标记来指代相同或相似的组件。

当标识可被分别引用的多个元素或组件时，本文使用描述符“第一”、“第二”、“第三”等。除非基于它们的使用上下文另有规定或理解，否则此类描述符并非旨在赋予优先级、物理次序或列表中的布置、或者时间顺序的任何含义，而仅仅是为了便于理解所公开的示例而用作分别指代多个元件或组件的标签。在一些示例中，描述符“第一”可以用于指代详细描述中的元素，而在权利要求中可以使用诸如“第二”或“第三”之类的不同描述符来指代相同的元素。在此类情况下，应当理解，此类描述符仅用于易于引用多个要素或组件。

具体实施方式

存在许多不同类型的机器学习模型和/或机器学习架构。机器学习模型的一个特定类型是神经网络。图1是示例神经网络100的示意性图示。在图1所图示的示例中，神经网络包括输入层、中间层和输出层，该输入层包括输入节点105、110、该中间层包括输入节点130、135、140、145，以及输出层包括输出节点170。在不失一般性的情况下，神经网络中的操作通常类似于y_i＝∑_jw_ijx_j，其中加权值(w)应用于输入值(x)并进行求和以产生输出值(y)。

存在神经网络结构的不同的变体。深度神经网络(DNN)是一种神经网络结构。是深度神经网络(DNN)。DNN通常包括多于一个中间层。当训练DNN模型时，将输入数据变换为某一输出，并使用损失或误差函数来比较模型预测的输出值是否接近期望值。然后，所计算的误差量通过使用随机梯度下降(或另一种训练算法)将该误差从输出传播回模型的输入，并且该过程再次重复，直到误差可接受地足够低或达到最大迭代数为止。在此训练过程中学习到的参数是连接每个节点的权重。在一些示例中，DNN中可能涉及到数百个、数千个、数万个等等的节点。