[发明专利]一种基于计算机视觉的开放道路交通参与者数据采集方法

权利要求书

1.一种基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，包括以下步骤：

步骤1：获取到包含有交通参与者的视频；

步骤2：裁剪出视频中感兴趣的区域，并根据目标检测网络的输入要求进行大小调整；

步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标为交通参与者，并得到检测的数据；

步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点；

步骤5：基于步骤4中得到的特征点，对视频进行增稳；

步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹；

步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H；并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到其在世界坐标系下的坐标；

步骤8：对于每一条轨迹，由相邻的轨迹点的坐标进行差分便可估计得到每个轨迹点的速度，同时对每条轨迹进行滤波除去噪声；

步骤9：用步骤7中的不可通行区域的坐标和步骤8中滤波后的交通参与者的轨迹能将道路情况重现出来，并以图像的形式绘制出来；

步骤10：有了描述道路情况的图像，能提取出每个交通参与者的特征描述。

2.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤3中目标检测网络选用YOLOv3网络。

3.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤4、5中特征点取SIFT特征点。

4.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤5中的特征匹配，当选取SIFT特征点时，用SIFT特征描述向量之间的欧氏距离来衡量两特征点的相似度。

5.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤5中的视频增稳算法：令初始的帧间变换矩阵T为单位阵；视频每经过N帧，将当前帧图像与之前第N帧图像提取出的特征点进行匹配，计算出当前帧到之前第N帧的变换矩阵K，令帧间变换矩阵T＝T*K，并将帧间变换矩阵T作用于当前图像以及检测的数据。

6.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤6中的目标追踪算法：首先用核化相关滤波器预测当前需要追踪的交通参与者在当前帧的追踪框，并以交并比为指标，用匈牙利算法去匹配当前帧检测出来的交通参与者的检测框和用KCF预测出来的追踪框，对于能够成功匹配的检测框与追踪框，用卡尔曼滤波器将二者信息融合；对于没有成功匹配到的追踪框，视为检测丢失，若连续检测丢失次数大于预设值，则认为目标消失，不再继续追踪它，否则，继续追踪；对于没有成功匹配到的检测框，视为新加入的目标，开始对其进行追踪；最后用需要追踪的目标的图像像素信息更新KCF的参数，所述KCF指核化相关滤波器。

7.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤7中的标志性地标为斑马线和车道线。

8.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤8中的滤波器用卡尔曼滤波器。

9.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤10中的特征描述包括自身的状态、环境的状态、自身的动作，环境的状态为类似激光雷达的数据，即将每个交通参与者周围360度预设距离内的物体的距离、速度、种类拼成一向量；而自身的状态包括自身的位置、速度以及目标的位置，自身的动作为速度大小、方向的变化量。

10.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述开放道路交通参与者包括行人、汽车、公交车、自行车和摩托车；

步骤1中，用无人机在开放道路的上方悬停拍摄一段视频，相机朝向应与道路走向平行，获取到包含有车流的视频。