[发明专利]一种目标检测算法的性能评估方法及系统

说明书

本发明公开一种目标检测算法的性能评估方法及系统，方法包括：根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，进行加权得出综合评估结果。本方法/系统的应用，可实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。

技术领域

本发明涉及图像处理及目标检测技术，尤其与一种目标检测算法的性能评估方法及系统相关。

背景技术

目标检测技术是近年来计算机视觉领域中备受关注的方向，主要涉及计算机视觉、图像处理、人工智能、模式识别等学科，被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。为了解决目标检测实际应用的如：目标体征、复杂背景环境、语音差异、计算复杂性与自适应性等问题，其算法也层出不穷。

研究者们在目标区域提取、特征描述子的表述、分类器的设计等方面采取了许多针对性的处理策略，已经提出了许多有效的基于视觉的目标检测算法，尤其是在神经网络技术快速崛起的时刻，其识别准确率获得了非常大的提升；但算法的结果往往仅通过论文或采用数据集进行跑分，尚未有一套有效的方法对基于应用的目标检测算法进行综合评价/评估。

发明内容

本发明主要针对相关现有技术的不足，提供一种目标检测算法的性能评估方法及系统，实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。

为了实现上述目的，本发明采用以下技术：

一种目标检测算法的性能评估方法，其特征在于，包括步骤：

根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；

利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；

整合评分结果加权得出综合评估结果。

进一步，所述整合评分结果加权得出综合评估结果，是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。

进一步，图像质量平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分。

进一步，图像分辨率平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分。