[发明专利]一种神经网络模型混合精度方案搜索方法及系统

权利要求书

1.一种神经网络模型混合精度方案搜索方法，其特征在于，包括以下步骤：

步骤一：模型预处理

将待优化的神经网络模型抽象为算子序列；

步骤二：模型执行

执行原始高精度的神经网络模型，得到期望输出，原始高精度的神经网络模型即步骤一中经过抽象处理的待优化的神经网络模型；

步骤三：低精度转化

将原始高精度的神经网络模型整体转化为低精度的神经网络模型，加入待验证模型队列；

步骤四：模型正确性验证

从待验证模型队列中取一个神经网络模型进行正确性验证；

步骤五：混合精度神经网络模型输出

若神经网络模型正确性验证通过，则说明当前神经网络模型目前的低精度部分优化方案正确，然后判断通过正确性验证的神经网络模型的高精度部分是否还可以切分；若是则将其高精度部分取出进行切分，分别对每一部分保留高精度，其余部分转化为低精度，得到多个模型，加入待验证模型队列，继续执行步骤四至五，直至神经网络模型的高精度部分无法切分，输出模型，即得到待优化神经网络模型的混合精度方案；否则，直接输出模型，即得到待优化神经网络模型的混合精度方案。

2.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法，其特征在于：在所述步骤一中，待优化的神经网络模型是一个计算图模型，其中的每一个节点都是一个算子，对计算图模型进行拓扑排序后即可得到一个算子序列。

3.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法，其特征在于：在所述步骤四中，对神经网络模型进行正确性验证的过程具体如下：

S41：利用误差预测模型预测神经网络模型的输出是否正确，如正确则进入步骤五，否则继续进行二次验证；

S42：实际执行神经网络模型，即进行二次验证，判断神经网络模型的实际执行结果是否正确，同时将实际执行结果作为训练数据，训练误差预测模型；

S43：如果神经网络模型输出结果正确，则表示通过二次验证，进入步骤五，否则表示未通过二次验证，说明当前神经网络模型的低精度部分优化方案存在问题，放弃当前神经网络模型，并重新从待验证模型队列中取一个神经网络模型进行步骤S41-S43。

4.根据权利要求3所述的一种神经网络模型混合精度方案搜索方法，其特征在于：在步骤S41中，误差预测模型为XGBoost模型，误差预测模型的输入为算子序列，输出为对应算子序列的执行结果是否正确的预测结果。

5.根据权利要求4所述的一种神经网络模型混合精度方案搜索方法，其特征在于：算子序列中每个算子均包括两个属性：算子类型和算子精度,其中算子类型表示算子的类型，采用独热编码；算子精度表示算子采用的计算精度，采用二值编码。

6.根据权利要求3所述的一种神经网络模型混合精度方案搜索方法，其特征在于：在所述步骤S42中，实际执行是执行onnx格式的神经网络模型，得到实际执行结果。

7.根据权利要求1所述的一种神经网络模型混合精度方案搜索方法，其特征在于：在所述步骤五中，当神经网络模型的高精度部分中连续的高精度算子数量大于一，则认为该高精度部分仍可再切分，否则认为不可再切分。

8.一种神经网络模型混合精度方案搜索系统，其特征在于，采用如权利要求1～7任一项所述的方法对神经网络模型混合精度方案进行搜索确定，包括：

预处理模块，用于将待优化的神经网络模型抽象为算子序列；

执行模块，用于执行原始高精度的神经网络模型，得到期望输出；

精度转化模块，用于将原始高精度的神经网络模型整体转化为低精度的神经网络模型，加入待验证模型队列；

正确性验证模块，用于从待验证模型队列中取一个神经网络模型进行正确性验证；

输出模块，用于在神经网络模型正确性验证通过后，判断通过正确性验证的神经网络模型的高精度部分是否还可以切分；若是则将其高精度部分取出进行切分，分别对每一部分保留高精度，其余部分转化为低精度，得到多个模型，加入待验证模型队列，继续执行步骤四至五，直至神经网络模型的高精度部分无法切分，输出模型；否则直接输出模型；

控制处理模块，用于向其他模块发出指令，完成相关动作；

所述预处理模块、执行模块、精度转化模块、正确性验证模块、输出模块均与中央处理模块通信连接。