[发明专利]用于优化机器学习模型的执行的方法和设备

权利要求书

1.一种用于优化机器学习模型的执行的设备，所述设备包括：

量化器，所述量化器用于基于执行约束来量化机器学习模型的层，所述机器学习模型的所述层由矩阵表示；

打包器，所述打包器用于打包所述矩阵的经量化的层以创建由经打包的矩阵表示的经打包的层，所述经打包的矩阵具有沿所述矩阵的行或列中的至少一者被一起编组的所述矩阵的非零值；

分块器，所述分块器用于将所述经打包的层分块成经分块的层，分块通过将所述经打包的矩阵中的非零值划分成块来执行；

融合器，所述融合器用于将所述经分块的层融合到流水线中；以及

封装器，所述封装器用于将所述流水线封装成二进制件。

2.如权利要求1所述的设备，其特征在于，所述执行约束是硬件约束。

3.如权利要求2所述的设备，其特征在于，所述硬件约束表示用于执行所述机器学习模型的硬件设备的位宽能力。

4.如权利要求1所述的设备，其特征在于，所述融合器进一步用于将量化根插入到所述流水线中。

5.如权利要求4所述的设备，其特征在于，所述量化根用于使调度器用于：

将激活函数的结果量化到箱的集合中；

打包所述箱的值以创建精简缓冲器；以及

经由重新映射的加载函数将所述精简缓冲器提供给池化函数。

6.如权利要求1所述的设备，进一步包括变换器，所述变换器用于在所述量化器对层进行量化之前执行所述机器学习模型的所述层的变换。

7.至少一种机器可读存储介质，包括指令，当所述指令被执行时使至少一个处理器至少用于：

基于执行约束来量化机器学习模型的层，所述机器学习模型的所述层由矩阵表示；

打包所述矩阵的经量化的层以创建由经打包的矩阵表示的经打包的层，所述经打包的矩阵具有沿所述矩阵的行或列中的至少一者被一起编组的所述矩阵的非零值；

将所述经打包的层分块成经分块的层，分块通过将所述经打包的矩阵中的所述非零值划分成块来执行；

将所述经分块的层融合到流水线中；以及

将所述流水线封装成二进制件。

8.如权利要求7所述的至少一种机器可读存储介质，其特征在于，所述执行约束是硬件约束。

9.如权利要求8所述的至少一种机器可读存储介质，其特征在于，所述硬件约束表示用于执行所述机器学习模型的硬件设备的位宽度能力。

10.如权利要求7所述的至少一种机器可读存储介质，其特征在于，当所述指令被执行时，进一步使所述至少一个处理器用于将量化根插入到所述流水线中。

11.如权利要求10所述的至少一种机器可读存储介质，其特征在于，所述量化根用于使调度器用于：

将激活函数的结果量化到箱的集合中；

打包所述箱的值以创建精简缓冲器；以及

经由重新映射的加载函数将所述精简缓冲器提供给池化函数。

12.如权利要求7所述的至少一种机器可读存储介质，其特征在于，当所述指令被执行时，使所述至少一个处理器在对所述层进行量化之前执行所述机器学习模型的所述层的变换。

13.一种用于优化机器学习模型的执行的方法，所述方法包括：

基于执行约束来量化机器学习模型的层，所述机器学习模型的所述层由矩阵表示；

打包所述矩阵的经量化的层以创建由经打包的矩阵表示的经打包的层，所述经打包的矩阵具有沿所述矩阵的行或列中的至少一者被一起编组的所述矩阵的非零值；

将所述经打包的层分块成经分块的层，分块通过将所述经打包的矩阵中的所述非零值划分成块来执行；

将所述经分块的层融合到流水线中；以及

将所述流水线封装成二进制件。