[发明专利]基于多维度模型的算法效能评估方法

权利要求书

1.一种基于多维度模型的智能算法效能评估方法，其特征在于，包括：

建立SAR图像舰船目标识别模型的效能评估模型，所述SAR图像舰船目标识别模型的效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；其中，所述基本能力效能评估指标包括基本能力效能评估一级指标和基本能力效能评估二级指标；所述核心能力效能评估指标包括核心能力效能评估一级指标和核心能力效能评估二级指标；

采集各项所述基本能力效能评估二级指标的数据以及各项所述核心能力效能评估二级指标的数据；

设定各项所述基本能力效能评估指标、所述核心能力效能评估指标的权重系数，包括：综合运用专家判断法、相似模型类比方法以及管理者经验设定所述基本能力效能评估指标和所述核心能力效能评估指标的权重系数；

根据各项所述基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分，包括：根据各项所述基本能力效能评估二级指标的数据和各项所述基本能力效能评估二级指标对应的权重系数计算各项所述基本能力效能评估一级指标的评估得分；根据各项所述基本能力效能评估一级指标的评估得分和各项所述基本能力效能评估一级指标对应的权重系数计算所述基本能力效能评估得分；

根据各项所述核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分，包括：对各项所述核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项所述核心能力效能评估二级指标的评估得分；根据各项所述核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项所述核心能力效能评估一级指标的评估得分；根据各项所述核心能力效能评估一级指标的评估得分以及各项所述核心能力效能评估一级指标对应的权重系数计算所述核心能力效能评估得分；

根据所述基本能力效能评估得分与所述核心能力效能评估得分进行综合分析，得到综合效能评估得分；

根据所述综合效能评估得分确定所述SAR图像舰船目标识别模型的软件综合成熟度；

所述基本能力效能评估一级指标包括：可用性、可靠性、实时性、可维护性和安全性；其中，所述可用性包括的基本能力效能评估二级指标有：数据处理能力、类型/场景覆盖率、资源占用率、平台兼容性、易操作性、易理解性；所述可靠性包括的基本能力效能评估二级指标有：并发用户数、、异常处理能力、故障率、可恢复性；所述实时性包括的基本能力效能评估二级指标有：响应时间；所述可维护性包括的基本能力效能评估二级指标有：易诊断性、易测试性、软件迭代；所述安全性包括的基本能力效能评估二级指标有：机密性、可审查性；

所述核心能力效能评估一级指标包括：数据分辨率优于第一预设值、数据分辨率优于第二预设值；其中，各项所述核心能力效能评估一级指标包含的核心能力效能评估二级指标有：检测率、虚警率、分类正常率和处理时间；

其中，所述类型/场景覆盖率的计算公式为：

其中，X₂为所述类型/场景覆盖率的评估得分，A2为所述SAR图像舰船目标识别模型实际覆盖所有特定目标类型/场景的数量，B₂为所述SAR图像舰船目标识别模型需要覆盖所有特定目标类型/场景的数量；

所述数据处理能力的计算公式为：

其中，X₁为所述数据处理能力的评估得分，A₁为所述SAR图像舰船目标识别模型正常处理数据的数量，B₁为所述SAR图像舰船目标识别模型测试数据总数量；其中，所述正常处理指所述SAR图像舰船目标识别模型在加载处理过程中不出现故障，单幅数据处理时间小于或等于第一预设时间；

所述资源占用率的计算公式为：

Y₃＝0.5·A₃+0.5·B₃，

其中，Y₃为所述资源占用率，A₃为CPU占用率，B₃为内存占用率，所述资源占用率的评估得分X₃＝1-Y₃；

所述平台兼容性的计算公式为：

其中，X₄为所述平台兼容性的评估得分，A₄为所述SAR图像舰船目标识别模型实际兼容的平台数，B₄为所述SAR图像舰船目标识别模型需要兼容的平台数；

所述易操作性的计算公式为：

其中，X₅为所述易操作性的评估得分，A₅为用户发现不易操作的功能数，B₅为被评估的功能总数；其中，所述不易操作指所述SAR图像舰船目标识别模型实现某个功能的操作步数大于第三预设值；

所述易理解性的计算公式为：

其中，X₆为所述易理解性的评估得分，A₆为不能被理解的功能数，B₆为被评估的功能总数；其中，所述不能被理解的功能指所述SAR图像舰船目标识别模型的命名存在缩写、歧义或与实际功能存在偏差；

所述并发用户数的计算公式为：

其中，X₇为所述并发用户数的评估得分，A₇为实际能够达到的最大并发用户数量，B₇为真实环境下要求的最大并发用户数量；

所述异常处理能力的计算公式为：

其中，X₈为所述异常处理能力的评估得分，A₈为所述SAR图像舰船目标识别模型对异常数据或参数进行检测并处理的数量，B₈为输入异常数据或参数的数量；

所述故障率的计算公式为：

其中，X₉为所述故障率的评估得分，所述崩溃次数指在第二预设时间内连续使用所述SAR图像舰船目标识别模型崩溃的次数；

所述可恢复性的计算公式为：

其中，X₁₀为所述可恢复性的评估得分，所述可恢复功能包括对模型、参数数据实现手动备份、自动备份、手动恢复、自动恢复功能；

所述响应时间的计算公式为：

其中，X₁₁为所述响应时间的评估得分，所述响应时间指用户提出请求到所述SAR图像舰船目标识别模型对所述请求进行处理的时间；

所述易诊断性的计算公式为：

其中，X₁₂为所述易诊断性的评估得分，所述错误诊断功能包括错误弹窗提醒、错误日志记录、打印出错信息功能；

所述易测试性的计算公式为：

其中，X₁₃为所述易测试性的评估得分，A₁₃为实际测试中使用了内置测试方法或数据的测试用例数，B₁₃为实际测试使用的测试用例数；

所述软件更新的计算公式为：

其中，X₁₄为所述软件更新的评估得分，t为更新过程中所述SAR图像舰船目标识别模型无法提供正常业务服务的时间；

所述机密性的计算公式为：

其中，X₁₅为所述机密性的评估得分，所述保障数据机密性方法包括实体隔离、身份验证、数据加密、访问控制；

所述可审查性的计算公式为：

其中，X₁₆为所述可审查性的评估得分，所述日志信息包括操作日志、访问日志。