[发明专利]一种面向路侧感知的标注数据预处理方法

说明书

本发明公开了一种面向路侧感知的标注数据预处理方法，获得所述摄像机的相机图像以及对应的时间戳，对所述相机图像进行解压缩，对所述相机图像进行时间戳对齐处理，对经过时间戳对齐处理之后的相机图像进行去畸变处理，对经过去畸变处理之后的相机图像进行压缩，对经过压缩之后的相机图像进行保存。本发明提供的面向路侧感知的标注数据预处理方法是一种离线处理的方法，不会占用无人车的任何资源，从而可以保障无人车运行过程中的安全。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种面向路侧感知的标注数据预处理方法。

背景技术

在当前大部分的自动驾驶或者车路协同场景中，相机采集回来的数据常常经过h264压缩进行保存，并且这部分数据是没有去除畸变的。这部分采集回来的数据需要解压缩、去畸变处理后才能用来作为训练相关检测、分割模型的训练数据，所以需要进行标注数据预处理。标注数据预处理流程目前普遍采用如下两种方案来解决：(1)在无人车行使的过程中抽样保存用于本身检测模型的图像；(2)离线启动自动驾驶相关算法，播放所采集的数据，模拟无人车行驶过程中算法运行的情况，将其中用于检测模型的图像全部保存下来。

上述两种方案使用场景有所不同，所带来的问题和不足也有所不同：方案(1)主要受到两点限制。首先在无人车形式的过程中保存所需要的数据需要占用无人车计算节点的CPU、内存、IO的资源，会降低无人车处理自身任务的频率，可能会由于计算资源不够造成无人车接管现象；其次无人车的存储空间有限，一方面限制了可以保存最多的数量，另一方面会造成存储满了而引发自动驾驶系统异常退出。方案(2)虽然可以离线运行，但是方法过于复杂，只需要提取图像，却执行到了后面的检测算法和控制算法部分，浪费资源；而且将所有的程序都运行起来会造成处理的频率低。比如说原始数据是60hz，但是算法执行起来只有20hz，那么就造成处理得到的数据最多只有20hz，降低了原始数据的频率。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种面向路侧感知的标注数据预处理方法，包括：

在路侧设置多个摄像机；

获得所述摄像机的相机图像以及对应的时间戳，所述时间戳是所述摄像机捕获图像的具体时刻；

对所述相机图像进行解压缩；

将预设摄像机的预设时间戳的相机图像设置为基准图像，所述基准图像对应的时间戳为基准时间戳，所述基准图像对应的摄像机为基准摄像机；

判断非基准摄像机中是否存在时间戳对齐的相机图像，所述时间戳对齐的相机图像满足如下条件：所述基准时间戳与单个所述非基准摄像机的多个相机图像的时间戳之间形成多个时间戳差值，其中存在一个最小时间戳差值，而且多个所述非基准摄像机的多个所述最小时间戳差值的最大值小于对应的预设阈值，所述预设阈值根据实验经验进行设置；

若判断结果为存在所述时间戳对齐的相机图像，删除各个摄像机之中的落后相机图像，所述落后相机图像的时间戳小于所述时间戳对齐的相机图像之中对应相机图像的时间戳；

若判断结果为不存在所述时间戳对齐的相机图像，删除所述基准图像，同时将大于所述基准时间戳的时间戳设置为新的基准时间戳，将新的基准时间戳对应的相机图像设置为新的基准图像；

使用镜像畸变公式对所有参与预处理的相机图像进行去畸变处理，表达式如下：

其中，x,y是像素在去畸变之前在像素坐标系中的坐标，x_correct，y_correct为所述像素在去畸变之后在所述像素坐标系中的坐标，k₁，k₂，k₃为径向畸变系数，为到图像中心的距离；

对去畸变处理之后的相机图像使用jpeg格式进行压缩；

保存压缩之后的图像。