[发明专利]一种基于二维图片和三维点云融合的目标检测和追踪方法

权利要求书

1.一种基于二维图片和三维点云融合的目标检测和追踪方法，其特征在于，包括以下步骤：

S100、对DeepLabv3+模型进行预训练，包括读取Cityscapes中的图像文件，基于图像文件数据集中的真值文件结合对应的图像文件对DeepLabv3+的模型进行预训练，采用特定的损失函数作为目标，直到精度不再显著提升时，结束整个深度学习框架的训练，保存对应的神经网络参数，上述特定的损失函数为公式(1)，促使模型能够实现对图像的精准语义分割：

L_deeplabv3+(x)＝∑w(x)log(p_k(x)), (1)；

其中，

x为二维平面上的像素位置，a_k(x)表示神经网络最后输出层中x对应的第k个通道的值；p_k(x)表示像素属于k类的概率；w(x)表示像素x位置的真实标签的分类结果向量，L_deeplabv3+(x)表示x在正确标签所属分类的概率总和；

还包括：

S110、在训练中输入Cityscapes图像数据，包括batch大小，图像数量和通道数；

S120、编码网络通过空洞卷积获得不同空洞尺寸大小的特征图，叠加拼接后输入至后续卷积网络进行特征提取，最终得到有效的编码特征结果；

S130、解码网络通过全卷积以及编码网络中对应层的特征进行信息补充，逐层向上采样，最终还原至原始输入图像大小，并输出每个像素点的分类信息；

S200、将三维点云数据转化为指定格式；

S300、对指定格式的三维点云数据进行预处理，预处理还包括前后景提取，其中的损失函数为公式(3)：

L_fore(p_u)＝-α_u(1-p_u)^βlog(p_u), (3)；

其中，

p_u表示前后景点的不同概率处理结果，α_u和β是人为定义的常量，用于控制前后景点的权重，L_fore(p_u)用于在前景点与背景点数量比例为1:3或者更加悬殊的情况之下，通过FocalLoss损失函数的方式，缓解类别分布不平衡问题；

S400、对PointRCNN-DeepLabv3+的模型进行训练；

S500、实现目标状态更新和追踪。

2.如权利要求1所述的基于二维图片和三维点云融合的目标检测和追踪方法，其特征在于，所述步骤S100的预训练还包括语义分割和图像物体分类：

S140、提取Cityscapes数据集中的图像语义分割信息，提取目标像素的分类信息；

S150、读取所有的图像数据，将符合要求的图像像素分类进行配置；

S160、将DeepLabv3+部署到GPU服务器中的一个微服务(docker)当中。

3.如权利要求2任一所述的基于二维图片和三维点云融合的目标检测和追踪方法，其特征在于，所述步骤S100还包括检验预训练的效果。

4.如权利要求3所述的基于二维图片和三维点云融合的目标检测和追踪方法，其特征在于，所述检验预训练的效果的方法包括使用matplotlib库对于可视化在python中进行开发，然后结合真值进行结果比对，通过统计图像像素中的真实值和预测值两个集合的交集和并集之比作为最终的评判依据，数值越大则表现越优秀。

5.如权利要求4所述的基于二维图片和三维点云融合的目标检测和追踪方法，其特征在于，所述步骤S300中的预处理包括当点过于稀疏时采用上采样的方法增加点数，当点数过于稠密时可以用下采样的方式减少相应的三维点云数，使三维点云均匀分布在整个平面。