[发明专利]基于多维度模型的算法效能评估方法

说明书

本公开提供一种基于多维度模型的智能算法效能评估方法，包括：建立SAR图像舰船目标识别模型的效能评估模型，该效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；采集各项基本能力效能评估二级指标的数据以及各项核心能力效能评估二级指标的数据；设定各项基本能力效能评估指标和核心能力效能评估指标的权重系数；根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算基本能力效能评估得分；根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算核心能力效能评估得分；根据基本能力效能评估得分与核心能力效能评估得分计算综合效能评估得分；根据综合效能评估得分确定模型的软件综合成熟度。

技术领域

本公开涉及计算机技术领域与模型测评领域，具体涉及一种基于多维度模型的算法效能评估方法。

背景技术

针对SAR图像舰船目标识别模型的评估，传统的评估方法只能衡量该模型最主要性能的好坏，例如准确率、召回率等。但是仅针对这些最主要的性能进行评估无法全面的评估SAR图像舰船目标识别模型在各个方面上的优劣。随着将模型部署到实际应用中，如何全面对SAR图像舰船目标识别模型效能评估成为一个急需解决的问题。

发明内容

有鉴于此，本公开提供一种基于多维度模型的算法效能评估方法，以解决现有技术中存在的技术问题。

本公开提出一种基于多维度模型的算法效能评估方法，包括：建立SAR图像舰船目标识别模型的效能评估模型，SAR图像舰船目标识别模型的效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；其中，基本能力效能评估指标包括基本能力效能评估一级指标和基本能力效能评估二级指标；核心能力效能评估指标包括核心能力效能评估一级指标和核心能力效能评估二级指标；采集各项基本能力效能评估二级指标的数据以及各项核心能力效能评估二级指标的数据；设定各项基本能力效能评估指标、核心能力效能评估指标的权重系数；根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分；根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分；根据基本能力效能评估得分与核心能力效能评估得分进行综合分析，得到综合效能评估得分；根据综合效能评估得分确定SAR图像舰船目标识别模型的软件综合成熟度。

可选地，基本能力效能评估一级指标包括：可用性、可靠性、实时性、可维护性和安全性，其中，可用性包括的基本能力效能评估二级指标有：数据处理能力、类型/场景覆盖率、资源占用率、平台兼容性、易操作性、易理解性；可靠性包括的基本能力效能评估二级指标有：并发用户数、异常处理能力、异常处理能力、故障率、可恢复性；实时性包括的基本能力效能评估二级指标有：响应时间；可维护性包括的基本能力效能评估二级指标有：易诊断性、易测试性、软件迭代；安全性包括的基本能力效能评估二级指标有：机密性、可审查性；核心能力效能评估一级指标包括：数据分辨率优于第一预设值、数据分辨率优于第二预设值；其中，各项核心能力效能评估一级指标包含的核心能力效能评估二级指标有：检测率、虚警率、分类正确率和处理时间。

可选地，数据处理能力的计算公式为：其中，X₁为数据处理能力的评估得分，A₁为SAR图像舰船目标识别模型正常处理数据的数量，B₁为SAR图像舰船目标识别模型测试数据总数量；其中，正常处理指SAR图像舰船目标识别模型在加载处理过程中不出现故障，单幅数据处理时间小于或等于第一预设时间；

类型/场景覆盖率的计算公式为：其中，X₂为类型/场景覆盖率的评估得分，A2为SAR图像舰船目标识别模型实际覆盖所有特定目标类型/场景的数量，B₂为SAR图像舰船目标识别模型需要覆盖所有特定目标类型/场景的数量；