[发明专利]一种物体的检测方法、装置、设备及存储介质

权利要求书

1.一种物体的检测方法，其特征在于，包括：

获取当前车辆检测到的外部环境的点云数据和图像数据；

基于第一预设神经网络模型，对所述点云数据和图像数据进行特征提取和特征融合，以生成融合特征图，并确定所述融合特征图的候选框和候选框概率；

根据所述融合特征图中的候选框和候选框概率进行物体检测。

2.根据权利要求1所述的方法，其特征在于，所述第一预设神经网络模型包括：自定义网络、全连接神经网络和候选框确定模块；

其中，所述自定义网络为具有金字塔特征提取网络结构的inception网络，用于对所述点云数据和外部图像进行特征提取，以生成点云特征和图像特征；

所述全连接神经网络，用于对所述点云特征和图像特征进行特征融合，以生成融合特征图；

所述候选框确定模块，用于确定所述融合特征图的候选框和候选框概率。

3.根据权利要求2所述的方法，其特征在于，所述第一预设神经网络模型为区域候选网络模型；

相应的，所述候选框确定模块，具体用于：

基于所述区域候选网络模型的锚点机制，确定所述融合特征图的候选框和候选框概率。

4.根据权利要求2所述的方法，其特征在于，所述自定义网络包括：编码器和解码器，其中，所述编码器用于基于卷积层对所述点云数据和图像数据进行编码，以生成编码特征，所述解码器用于基于转置卷积层对所述编码特征进行解码，以生成点云特征和图像特征。

5.根据权利要求4所述的方法，其特征在于，所述编码器包括依次连接的第一二维卷积网络、第二二维卷积网络和池化层，所述池化层后连接第一分支、第二分支和第三分支，所述第一分支、第二分支和第三分支为并行结构，所述第一分支包括一个二维卷积层，所述第二分支包括两个二维卷积层，所述第三分支包括三个二维卷积层。

6.根据权利要求3所述的方法，其特征在于，所述区域候选网络的训练过程包括：

基于KITTI数据集，获取所述区域候选网络的训练集，其中，所述训练集包括车辆在预设场景下采集的点云数据和图像数据，以及所述点云数据和图像数据对应的融合特征图；

根据所述训练集以及设定损失函数对所述区域候选网络进行训练，以获取训练好的区域候选网络。

7.根据权利要求1所述的方法，其特征在于，所述根据所述融合特征图的候选框和候选框概率进行物体检测，包括：

基于第二预设神经网络模型，根据所述候选框和候选框概率进行物体检测，以生成检测结果，其中，所述检测结果包括物体类别和各物体类别分别对应的类别概率。

8.根据权利要求1所述的方法，其特征在于，在获取当前车辆检测到的外部环境的点云数据之后，还包括：

将所述点云数据转换为二维鸟瞰图，以采用所述二维鸟瞰图代替所述点云数据进行特征提取。

9.一种物体的检测装置，其特征在于，包括：

数据获取模块，用于获取当前车辆检测到的外部环境的点云数据和图像数据；

候选框确定模块，用于基于第一预设神经网络模型，对所述点云数据和图像数据进行特征提取和特征融合，以生成融合特征图，并确定所述融合特征图的候选框和候选框概率；

物体检测模块，用于根据所述融合特征图的候选框和候选框概率进行物体检测。

10.一种物体的检测设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的物体的检测方法。

11.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一项所述的物体的检测方法。