[发明专利]一种目标检测算法的性能评估方法及系统

权利要求书

1.一种目标检测算法的性能评估方法，其特征在于，包括步骤：

根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；

利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；

整合评分结果得出综合评估结果：将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；

其中，图像质量平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分；

图像分辨率平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分；

目标质量平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分；

目标大小平均精度均值mAP评分，通过以下步骤获得：

在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；

根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；

对不同等级对应的平均精度均值mAP进行加权计算，得到目标大小平均精度均值mAP评分。

2.根据权利要求1所述的目标检测算法的性能评估方法，其特征在于，平均精度均值mAP的计算，是对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP。

3.一种目标检测算法的性能评估系统，其特征在于，包括：

数据集生产模块，用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；

评分模块，用于利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；

综合评估模块，用于对评分模块获得的评分进行整合，将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得；

其中，评分模块包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元，以及预测标签生成单元、计算单元、加权单元，其中：

图像质量测试集生成单元，用于在所述数据集中提取多个不同质量等级的子集，作为图像质量测试集；

图像分辨率测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集；

目标质量测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的目标质量测试集；

目标大小测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的目标大小测试集；

预测标签生成单元，用于利用各测试集生成单元生成的测试集分别对待测算法进行测试，分别得到各测试集生成单元对应的所有预测标签；

计算单元，用于根据各测试集生成单元对应的所有预测标签，结合各测试集对应的真实标签，分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP；

加权单元，用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算，分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。