[发明专利]一种车载边缘场景下的三维目标感知方法

权利要求书

1.一种车载边缘场景下的三维目标感知方法，其特征在于，包括以下步骤：

通过车载激光雷达和摄像机采集实时路况信息获得点云数据和二维图像，同时对车载激光雷达、摄像机进行标定；

对点云数据进行滤波分割，并分割点云地面，然后将点云投影到所述二维图像上进行融合，其中二维图像像素点通过如下公式变换：

其中，μ为像素坐标系的横坐标、γ为像素坐标系的纵坐标、c_x为横向平移量、c_y为纵向平移量、X_w、Y_w、Z_w分别为世界坐标系的坐标、R为世界坐标系旋转参数、t为世界坐标系平移参数、K为摄像机内参矩阵、T为摄像机外参矩阵，f_x＝αf，f_y＝βf，α为水平方向缩放倍数，β为竖直方向缩放倍数，f为摄像机焦距；

利用神经网络对融合后的二维图像进行目标检测和物体分类，并得到对应物体的边界框，通过判断边界框内是否存在点云进而对物体进行聚类划分，如果边界框的ROI区域内存在点云点则将其中的点归为一类，从而获取不同目标的三维点云图像；

对二维图像进行特征点检测，首先确定在二维图像的灰度图像上移动窗口所造成的灰度值的变化量：

其中，假设一个窗口的中心位于灰度图像为(x，y)的位置，该位置的像素灰度值为I(x，y)，u、v分别表示窗口向x和y方向移动的位移，ω(x，y)为位置(x，y)的窗口函数，表示窗口内各像素的权重；

通过最大化E(u，v)得到图像中的角点位置，对上式进行泰勒展开得到：

其中矩阵M表示为：

I_x和I_y分别代表灰度图像中x方向和y方向上的梯度，灰度值变化的大小则取决于矩阵M；引入角点响应函数计算：

R＝min(λ₁，λ₂)

其中，λ₁，λ₂为矩阵M的特征值，用较小的特征值作为R，设定阈值，当R大于阈值的像素就是角点，即为特征点；

以特征点为中心，构造不同半径的同心圆，并在每个圆中的特征点获取等距采样点共N个；将两对采样点组合在一起构成采样点对；在采样点对中区分长距离对和短距离对，长距离对用于确定方向，而短距离对用于构建描述符的强度比较；

使用短距离对构建采样点描述符，对于每个短距离对，它取采样点的平滑强度，并检查该短距离对中第一个点的平滑强度是否大于第二个点的平滑强度：如果是的话则在描述符的对应位写1，否则写0；

计算前后帧二维图像中所有描述符间的距离，返回最小值以建立映射关系，视为两者匹配，将匹配的描述符对应的采样点作为关键点，从而实现目标跟踪的效果；通过计算前一帧二维图像中的一个采样点的描述符与后一帧二维图像中的所有采样点的描述符的距离并返回最接近的一个，从而实现前一帧、后一帧二维图像中关键点匹配的目的；

根据前后帧匹配的关键点，如果前一帧二维图像有关键点落在其边界框的ROI区域内则对后一帧二维图像中其匹配的关键点进行判断是否也是在其边界框的ROI区域内，如果是，则认为前一帧、后一帧二维图像的边界框匹配；再根据获取对应边界框的ROI区域内的点云，得到前后两帧点云的匹配跟踪，实现三维跟踪的功能。

2.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，所述对点云数据进行滤波分割，包括：

沿每个维度设置体素大小来调整采样大小，位于体素范围内的一组点云数据被分配给该体素，并在统计上合并为一个输出点，从而在输入点云数据上创建一个3D体素网格，然后将每个体素内的点都用该体素内点集的质心来近似。

3.根据权利要求1所述的车载边缘场景下的三维目标感知方法，其特征在于，所述分割点云地面，包括：

借助RANSAC算法分割地面和非地面物体，该算法的最大迭代次数设置如下：

其中，K为最大迭代次数，p为算法跑k次的成功率，ω为随机抽取一个点是内群点的概率，n为选择的点云数据的个数。