[发明专利]一种基于计算机视觉的开放道路交通参与者数据采集方法

说明书

本发明公开一种基于计算机视觉的开放道路交通参与者数据采集方法，包括对道路上行人及车辆的行动数据进行采集，获取到包含有交通行为的视频；用目标检测网络得到交通参与者检测的数据；提取图像中所有的特征点，并除去检测到的交通参与者上的特征点；基于检测到的特征点，对视频和检测结果进行增稳处理；用目标追踪算法得到每个交通参与者的轨迹；用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵；并计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；对于每一条轨迹，估计得到每个轨迹点的速度并对轨迹滤波；将道路情况以图像的形式绘制出来；提取出每个交通参与者的特征描述。

技术领域

本发明涉及一种基于计算机视觉的开放道路交通参与者数据采集方法，可以用于采集开放道路上的交通参与者的运动轨迹，属于计算机视觉技术领域。

背景技术

近年来，深度学习发展迅速，这离不开大量的数据，特别是监督学习，更是需要大量的已经标注过的数据。在语音、图像领域有很多针对不同问题的数据集，如针对语音识别、语音分离、语音活动检测、目标检测、实例分割等问题的数据集。但是在自动驾驶领域，却鲜有相关的数据集，特别是能够复现整个道路路况的数据。现有的一些针对自动驾驶的数据集，往往是在汽车上采集的激光雷达数据、毫米波雷达数据、GPS数据、车速数据、图像数据、司机的动作数据，一辆用于采集数据的汽车的成本会很高，同样一辆车也无法复现整个道路的情况。若只从车中去采集数据，除非道路上的每一辆车都装有采集数据的设备，不然很难保证能够复现整个道路的信息，但是若要让每辆车都安装采集数据的设备，从成本角度考虑不现实。除此之外，若我们拿到了很多轨迹，但这些轨迹都是由几辆专门采集数据的车采集的，这样采集出来的数据的分布会与真实数据的分布有差异。正确的方法应当是采集尽可能多的不同的车辆在不同的场景下的轨迹信息，这样的数据才更具有普遍性。

因此，为了能够记录整个道路的路况，且能够采集到尽可能多的不同的车的数据，亟需一种新的技术方案来实现这一目标。

发明内容

发明目的：为了克服现有技术的缺陷，本发明提出了一种基于计算机视觉的数据采集方法，能够采集到每个时刻的整个道路的路况信息，包括每个交通参与者(机动车、行人、非机动车)的位置、速度以及不可通行区域的位置。并最终得到每个运动物体每一时刻的状态和动作的表示，状态包括自身状态----当前位置、速度以及目标位置，环境状态----周围物体数据(种类、距离、速度)的向量化表示，动作为速度大小、方向的变化量。

技术方案：一种基于计算机视觉的开放道路交通参与者数据采集方法，包括以下步骤：

步骤1：用无人机在开放道路的上方悬停拍摄一段视频，为了拍摄到更多人和车辆等交通参与者，相机朝向应与道路走向平行，获取到包含有交通行为的视频。

步骤2：裁剪出视频中感兴趣的区域，并根据之后图像检测网络的输入要求对其进行大小调整。

步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标包括人和车辆等交通参与者，并得到检测的数据。

步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点。

步骤5：基于步骤4中得到的特征点，对图像进行增稳。

步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹。

步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H。并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标。再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到不可通行区域在世界坐标系下的坐标。

步骤8：对于每一条轨迹，由相邻的轨迹点的坐标进行差分便可估计得到每个轨迹点的速度，同时对每条轨迹进行滤波除去噪声。