[发明专利]一种多分制目标检测算法评价系统及方法

说明书

多分制目标检测算法评价系统，包括算法输入模块，用于输入待测算法；测试集准备模块，根据待测算法选择具有被测目标种类的测试集；综合评分模块用于图像质量评分、图像分辨率评分、目标质量评分、目标大小评分加权得到总体综合评分；应用场景评分模块用于对场景图像分辨率评分、场景目标质量评分、场景目标大小评分加权得到应用场景评分；自由评分模块，根据用户测试需求自定义参数生成对应测试集以完成针对性的测评。同时公开一种多分制目标检测算法评价方法。能给出总体综合评分、应用场景评分、综合自由评分，不仅能客观反映出算法的好坏，还能反映出算法的好坏领域，而且能给算法设计者明确的优化方向，使算法优化更有针对性和目的性。

技术领域

本发明涉及图像处理与目标检测技术，尤其与一种多分制目标检测算法评价系统及方法相关。

背景技术

目标检测技术是近年来计算机视觉领域中备受关注的方向，主要涉及计算机视觉、图像处理、人工智能、模式识别等学科，被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。

目前，在对目标检测算法的测评中，通常用准确率和召回率来描述一种算法的好坏，而mAP（mean Average Precision）及F-Score作为一个兼顾考虑以上两种指标，并被广泛应用。然而，传统的mAP或F-Score计算方法并不能定量反映出算法在哪些领域的擅长之处或弱点，也不能为算法设计者提供优化点，且通常存在评价片面、针对性不够强不够全面，也不能够根据应用场景进行倾向性评价。因此，需要开发多分制的评价系统，结合多种评分参数及多种评价类型，提供更加全面的评价功能。

发明内容

本发明主要针对相关现有技术的不足，提供一种多分制目标检测算法评价系统及方法，能给出总体综合评分、应用场景评分、综合自由评分，不仅能客观反映出算法的好坏，还能反映出算法的好坏领域，而且能给算法设计者明确的优化方向，使算法优化更有针对性和目的性。

为了实现上述目的，本发明采用以下技术：

一种多分制目标检测算法评价系统，其特征在于，包括：

算法输入模块，用于输入待测算法；

测试集准备模块，用于根据待测算法选择具有被测目标种类的测试集；

综合评分模块，用于根据图像质量、图像分辨率、目标质量、目标大小将测试集分别划分为四类具有多个不同等级的数据集，其中，在根据图像质量将测试集划分前，先对测试集进行加噪处理；通过对各不同类的数据集分别计算mAP以分别获得总体图像质量评分、总体图像分辨率评分、总体目标质量评分、总体目标大小评分，并将各总体评分进行平均加权得到总体综合评分；

应用场景评分模块，用于对测试集进行加噪处理并根据图像质量将测试集划分为不同等级的数据集，以等级最好的两个数据集中的一个数据集计算mAP以获得场景图像质量评分，并根据预设的图像分辨率参数、目标质量参数、目标大小参数分别从测试集中分别生成对应的场景数据集，以不同的场景数据集分别计算mAP以分别获得场景图像分辨率评分、场景目标质量评分、场景目标大小评分，并将各场景评分进行平均加权得到应用场景评分；

自由评分模块，用于根据预设的自由测试场景及对应预设的自由场景参数从测试集中生成对应的自由数据集，其中，预设的自由测试场景包括自由图像质量场景、自由图像分辨率场景、自由目标质量场景、自由目标大小场景中至少一种；并通过自由数据集计算mAP 以获得对应自由测试场景的自由评分，且在获得两种以上自由评分时，将各自由评分进行平均加权得到综合自由评分；在只获得一种自由评分时，以该种自由评分作为综合自由评分。

一种多分制目标检测算法评价方法，其特征在于，包括步骤：

根据输入的待测算法选择具有被测目标种类的测试集；

响应于用户的输入选择，执行综合评分方法、应用场景评分方法、自由评分方法中至少一种评分方法；其中：