[发明专利]目标检测模型的评估方法、装置、电子设备及存储介质

说明书

本公开涉及一种目标检测模型的评估方法、装置、电子设备及存储介质，属于人工智能技术领域。所述方法包括：获取目标场景用例的至少一个目标场景参数；获取目标场景参数的参数值；根据目标场景参数的参数值运行目标场景用例，并获取目标场景用例运行时的至少一张场景图片以及场景图片的基准标注；通过在目标场景用例中运行的目标检测模型对场景图片中的对象进行预测，得到场景图片的预测标注；根据至少一张场景图片对应的基准标注和预测标注，计算目标检测模型的评估结果。本公开能够基于场景参数和场景用例模拟现实场景，再利用模拟出的场景的场景图片对目标检测模型进行评估，结合了现实条件的约束，更具实用性，模型评估结果更准确。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种目标检测模型的评估方法、装置、电子设备及存储介质。

背景技术

目标检测模型是一种基于目标几何和统计特征的模型，通过对目标检测模型进行评估，可以明确目标检测模型的性能。

相关技术中，对于目标检测模型的评估往往是使用对抗样本和形式化验证两种方式。两种方式的研究本质都是在数据样本空间进行模型的鲁棒性检测，区别在于两者对于数据样本空间的探索方式不同，对抗样本是通过迫使模型出错来获得鲁棒性上界，形式化验证则是通过保证模型正确来获得鲁棒性下界。

上述两种方式虽然能够实现对目标检测模型的评估，但是两种方式都是通过在高维数据空间中对数据的扰动或者修改，比如添加噪声，来进行评估，缺少有关现实条件的约束，使得其在实际问题中的应用受到了很大的限制，评估结果往往也不够准确。

发明内容

为克服相关技术中存在的问题，本公开提供了一种目标检测模型的评估方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供了一种目标检测模型的评估方法，包括：

获取目标场景用例的至少一个目标场景参数，所述目标场景参数是指所述目标场景用例中参数值可调节的场景参数；

获取所述目标场景参数的参数值；

根据所述目标场景参数的参数值运行所述目标场景用例，并获取所述目标场景用例运行时的至少一张场景图片以及所述场景图片的基准标注，所述标注用于标识所述场景图片中的对象；

通过在所述目标场景用例中运行的目标检测模型对所述场景图片中的对象进行预测，得到所述场景图片的预测标注；

根据至少一张所述场景图片对应的基准标注和预测标注，计算所述目标检测模型的评估结果，所述评估结果用于指示所述目标检测模型的预测准确性能。

可选地，所述根据至少一张所述场景图片对应的基准标注和预测标注，计算所述目标检测模型的评估结果之后，还包括：响应于所述评估结果满足预设条件，结束所述目标检测模型的评估，所述预设条件为边界检测结束条件；响应于所述评估结果未满足所述预设条件，调整至少一个所述目标场景参数的参数值，并从根据所述目标场景参数的参数值运行所述目标场景用例的步骤开始再次执行，直至所述评估结果满足所述预设条件。

可选地，所述调整至少一个所述目标场景参数的参数值，包括：确定所述目标场景参数中需要进行参数调整的第一场景参数；获取所述第一场景参数的第一参数值，所述第一参数值为第N次计算所述目标检测模型的评估结果时所述第一场景参数的参数值，所述N为大于或等于2的整数；响应于第二评估结果指示的模型性能低于第一评估结果指示的模型性能，确定接受所述第一参数值；其中，所述第二评估结果为第N次计算得到的所述目标检测模型的评估结果，所述第一评估结果为第N-1次计算得到的所述目标检测模型的评估结果；响应于所述第二评估结果指示的模型性能高于所述第一评估结果指示的模型性能，计算所述第一参数值被接受的概率，根据所述概率确定是否接受所述第一参数值；响应于接受所述第一参数值，根据所述第一参数值对所述第一场景参数的参数值进行调整；响应于不接受所述第一参数值，获取之前接受的所述第一场景参数的第二参数值，根据所述第二参数值对所述第一场景参数的参数值进行调整。