[发明专利]一种基于运行环境误差分析的深度学习模型质量评估方法

权利要求书

1.一种基于运行环境误差分析的深度学习模型质量评估方法，其特征是对算子组合以及多层算子进行误差分析；通过多峰分布实现对测试数据分布的模拟；建立算子质量与模型质量之间的关系模型，实现模型质量的评估。

2.根据权利要求1所描述的对算子组合以及多层算子进行误差分析，其特征是：对目前深度学习框架中提供的深度学习算子进行分析，得到每个算子运算中对输入上的误差值的理论传播范围，作为算子实例准确性与稳定性的判断依据。本项目进一步通过不同深度学习框架中提供的算子实例进行测试执行，以得到的结果计算相对误差。

3.根据权利要求1所描述的通过多峰分布实现对测试数据分布的模拟，其特征是：利用基于变异的模糊测试技术，通过引入一系列变异方法，基于已有的测试数据生成充分的测试数据。在这一步中，我们会基于元素值和张量特征对原始输入进行扰动，同时，考虑到深度学习算子的数值运算特性，触发Bug的输入往往呈现一定的连续性。

4.根据权利要求1所描述的建立算子质量与模型质量之间的关系模型，实现模型质量的评估。其特征是：基于算子误差分析模块对于算子实例的准确性和稳定性判断，分别使用不同深度学习库中的算子实例构建模型实例，建立算子质量与模型质量之间的关系模型，即算子的精度如何对模型质量产生影响，从而定位模型中导致输入产生异常的算子实现，实现模型质量的评估。