[发明专利]一种基于AI处理器的图像数据在线量化矫正方法及系统

权利要求书

1.一种基于AI处理器的图像数据在线量化矫正方法，其特征在于，所述方法包括：

步骤(221)，当检测到图像数据的量到阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；

步骤(222)，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；

步骤(223)，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；

步骤(224)，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；

步骤(225)，将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与所述第一预设结果之间的推理误差；

步骤(226)，基于所述第一推理结果与所述第一预设结果之间的推理误差，迭代步骤(221)-步骤(225)，当迭代次数达到预设第一迭代阈值时，生成中间层量化方案。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

步骤(211)，当检测到所述图像数据的量到所述阈值时，使用所述神经网络对所述图像数据进行处理并生成所述图像数据对应的权重数据，所述权重数据为高精度权重数据；

步骤(212)，逐层降低所述高精度权重数据的位宽并生成至少一个低精度权重数据；

步骤(213)，基于所述低精度权重数据，对所述图像数据进行推理并生成第二推理结果；

步骤(214)，将所述第二推理结果与第二预期结果进行比较并确定所述第二推理结果与所述第二预期结果之间的误差；

步骤(215)，基于所述第二推理结果与所述第二预期结果之间的误差，迭代所述步骤(211)-步骤(214)，直至迭代次数达到预设第二迭代阈值时，生成权重量化方案。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

步骤(100)，采集目标应用场景对应的所述图像数据；

步骤(101)，检测到所述图像数据的量是否到所述阈值时，当所述图像数据的量到达所述阈值时，触发步骤(221)，和/或步骤(211)执行。

4.如权利要求1所述的方法，其特征在于，步骤(222)包括：

根据所述高精度中间层数据中的各项数据，使用最大最小值对称量化算法、最大值非对称量化算法、交叉熵量化算法中的一种算法匹配所述高精度中间层数据对应的量化方案。

5.如权利要求2所述的方法，其特征在于，步骤(226)之后，所述方法还包括：

步骤(227)，保存所述中间层量化方案；

以及，在步骤(215)之后，所述方法还包括：

步骤(216)，保存所述权重量化方案。

6.一种基于AI处理器的图像数据在线量化矫正系统，其特征在于，所述系统包括数据采集单元(301)、双模式神经网络推理单元(303)、量化计算单元(305)，其中，

所述数据采集单元(301)，用于检测到图像数据的量是否到阈值时；

所述双模式神经网络推理单元(303)，用于当所述数据采集单元(301)检测到所述图像数据的量达到所述阈值时，使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据；

所述量化计算单元(305)，用于当所述双模式神经网络推理单元(303)使用神经网络对所述图像数据进行处理并生成所述图像数据对应的高精度中间层数据时，根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案；

所述双模式神经网络推理单元(303)，还用于当量化计算单元(305)根据所述高精度中间层数据中的各项数据项匹配所述高精度中间层数据对应的量化方案之后，根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据；

所述量化计算单元(305)，还用于在双模式神经网络推理单元(303)根据所述量化方案对所述高精度中间层数据进行量化并生成低精度中间层数据之后，基于所述低精度中间层数据对所述图像数据进行推理并生成第一推理结果；

所述量化计算单元(305)，还用于将所述第一推理结果与第一预设结果进行比较并确定所述第一推理结果与第一预设结果之间的推理误差。