[发明专利]用于神经网络优化矩阵-矩阵乘法（NNMM）的方法和装置

说明书

本申请实施例提供一种用于神经网络优化矩阵‑矩阵乘法(NNMM)的方法和装置。根据实施例，一种用于神经网络优化矩阵‑矩阵乘法(NNMM)的方法包括：确定输入系数的第一矩阵；确定经训练的神经网络的权重系数的第二矩阵，使得所述第二矩阵具有预定的均匀模式，所述预定的均匀模式包括至少两个具有相同值的所述权重系数。所述方法还包括：对所述确定的第一矩阵和所述确定的第二矩阵执行乘法，以确定输出系数。

相关申请的交叉引用

本申请要求于2020年2月20日递交的、申请号为62/979,034的美国临时申请、以及于2020年11月9日递交的、申请号为17/092,925的美国申请的优先权，其全部内容通过引用并入本申请中。

技术领域

本申请涉及神经网络技术，更具体地，涉及用于神经网络优化矩阵-矩阵乘法(NNMM)的方法和装置、以及计算机可读介质。

背景技术

深度神经网络(DNN)在解决计算机视觉、自然语言处理等各种各样的任务方面取得了巨大成功。具有大量参数的深度网络结构的大模型容量带来了较高的预测性能，但也使得DNN模型在实际应用中过于昂贵，特别是对于在存储、计算能力和能量消耗方面有严格限制的移动和设备上的应用而言。如何降低在学术界和工业界使用DNN的成本已引起人们的极大关注。国际标准化组织MPEG也成立了专门小组来解决这个问题。

发明内容

本申请实施例提供了用于神经网络优化矩阵-矩阵乘法(NNMM)的方法和装置、以及计算机可读介质，旨在解决现有技术中对DNN进行权重修剪后权重矩阵中的非结构化稀疏性引起了随机存储器存取，从而无法改善推理计算的问题，以及去除较大百分比的权重会导致较大的预测性能下降的问题。

根据实施例，一种用于神经网络优化矩阵-矩阵乘法(NNMM)的方法包括：确定输入系数的第一矩阵；确定经训练的神经网络的权重系数的第二矩阵，使得所述第二矩阵具有预定的均匀模式，所述预定的均匀模式包括至少两个具有相同值的所述权重系数。所述方法还包括：对所述确定的第一矩阵和所述确定的第二矩阵执行乘法，以确定输出系数。

一种用于神经网络优化矩阵-矩阵乘法NNMM的装置包括：至少一个存储器，被配置为存储程序代码；以及至少一个处理器，被配置为读取所述程序代码，并按照所述程序代码的指示进行操作，以执行实施例所述的用于神经网络优化矩阵-矩阵乘法(NNMM)的方法。

根据实施例，一种用于神经网络优化矩阵-矩阵乘法(NNMM)的装置包括：第一确定模块，用于确定输入系数的第一矩阵；第二确定模块，用于确定经训练的神经网络的权重系数的第二矩阵，使得所述第二矩阵具有预定的均匀模式，所述预定的均匀模式包括至少两个具有相同值的所述权重系数；以及执行模块，用于对所述确定的第一矩阵和所述确定的第二矩阵执行乘法，以确定输出系数。

一种非易失性计算机可读介质，用于存储指令，当所述指令由用于神经网络优化矩阵-矩阵乘法NNMM的至少一个处理器执行时，使得所述至少一个处理器执行实施例所述的用于神经网络优化矩阵-矩阵乘法(NNMM)的方法。

本申请实施例提供的用于NNMM的方法通过确定神经网络的权重系数的第二矩阵，并使得第二矩阵具有预定的均匀模式，能够实现较少数量的乘法和加法运算，从而改善推理计算，并且能够保持神经网络的性能。

附图说明

图1A是通用面板-矩阵乘法(GEPM，general panel-matrix multiplication)/通用块-面板乘法(GEBP，general block-panel multiplication)分区方法和通用面板-面板乘法(GEPP，general panel-panel multiplication)/GEBP分区方法的示意图。

图1B是另一GEPM/GEBP分区方法和另一GEPP/GEBP分区方法的示意图。