[发明专利]硬件在环评价方法、装置、存储介质、电子设备与系统

说明书

本公开涉及一种硬件在环评价方法、装置、存储介质、电子设备与系统，属于计算机技术领域，能够对目标检测模型进行实时评测。一种硬件在环评价方法，包括：接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；对仿真场景视频拍摄帧和真值帧进行时间对齐；基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种硬件在环评价方法、装置、存储介质、电子设备与系统。

背景技术

现有的对目标检测模型进行评测的方法都是对目标检测模型直接输入数据集，进行离线评测，无法实现目标检测模型的实时评测。

发明内容

本公开的目的是提供一种硬件在环评价方法、装置、存储介质、电子设备与系统，能够对目标检测模型进行实时评测。

根据本公开的第一实施例，提供一种硬件在环评价方法，包括：接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；对仿真场景视频拍摄帧和真值帧进行时间对齐；基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。

可选地，对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。

可选地，基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：将仿真场景视频拍摄帧的拍摄时间减去仿真场景视频帧的传输时延；将真值帧的接收时间减去真值帧的传输时延；对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐。

可选地，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐。

可选地，预设评价指标包括以下中的至少一项：平均精准率、漏检率、错检率和摄像头的检测速度。

可选地，平均精准率包括以下中的至少一种：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于第二尺寸的目标检测框的平均精准率。

根据本公开的第二实施例，提供一种硬件在环评价装置，包括：第一接收模块，用于接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；第二接收模块，用于接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；时间对齐模块，用于对仿真场景视频拍摄帧和真值帧进行时间对齐；评价模块，用于基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。

可选地，时间对齐模块对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。