[发明专利]视觉感知系统的性能测试系统及其性能测试方法

权利要求书

1.一种视觉感知系统的性能测试系统，其特征在于，包括：

存储模块，其用于提供带原始标注信息的视频数据源；

视频注入单元，其用于将所述视频数据源离线地注入待测试的所述视觉感知系统；以及

比较分析单元，其用于将所述视觉感知系统的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知系统的性能评估结果，其中，所述感知结果是所述视觉感知系统针对所述视频数据源进行图像感知处理后所输出的感知结果。

2.如权利要求1所述的性能测试系统，其特征在于，所述原始标注信息是包括目标及其目标属性的标注信息。

3.如权利要求2所述的性能测试系统，其特征在于，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；

所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。

4.如权利要求1或2所述的性能测试系统，其特征在于，所述比较分析单元包括：

结果转换模块，其用于将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；

比较模块，其用于将所述标准化的感知结果与所述原始标注信息进行比较以获得相应的比较结果；

统计模块，其用于定量地统计所述比较结果以得到所述视频感知系统的定量的性能评估结果。

5.如权利要求4所述的性能测试系统，其特征在于，所述统计模块所统计的统计量包括以下一个或多个：

目标识别输出能力，

总体目标识别准确率，

总体目标识别召回率，

分类目标的识别准确率，

分类目标属性的识别准确率。

6.如权利要求1所述的性能测试系统，其特征在于，所述视频注入单元包括：

视频格式转换模块，其用于将所述视频数据源转换为与待测试的所述视觉感知系统的输入相匹配的格式。

7.如权利要求6所述的性能测试系统，其特征在于，所述视频注入单元的输出接口被配置为默认地以MIPI CSI-2或平行 DVP转LVDS的方式输出所述视频数据源。

8.如权利要求1所述的性能测试系统，其特征在于，还包括：

显示单元，其用于显示所述性能评估结果。

9.一种视觉感知系统的性能测试方法，其特征在于，包括步骤：

提供存储带原始标注信息的视频数据源；

将所述视频数据源离线地注入待测试的所述视觉感知系统；以及

将所述视觉感知系统的感知结果和所述视频数据源中的原始标注信息进行比较分析以获得所述视觉感知系统的性能评估结果，其中，所述感知结果是所述视觉感知系统针对所述视频数据源进行图像感知处理后所输出的感知结果。

10.如权利要求9所述的性能测试方法，其特征在于，所述原始标注信息是包括目标及其目标属性的标注信息。

11.如权利要求10所述的性能测试方法，其特征在于，所述目标包括以下一种或多种：车辆、行人、交通信号灯、交通标识、车道线；

所述目标属性包括以下一种或多种：目标是否存在、目标所属种类、目标大小、目标距离、目标相对于车辆的相对速度、车道线的多项式拟合系数、交通信号灯的具体信息、交通标识的具体信息。

12.如权利要求9所述的性能测试方法，其特征在于，所述比较分析步骤包括：

将所述感知结果按照对应所述原始标注信息的形式进行标准化转换以得到标准化的感知结果；

将所述标准化的感知结果与所述原始标注信息进行比较；

定量地统计所述比较结果以得到所述视频感知系统的定量的性能评估结果。