[发明专利]基于3D-YOLO的语义分割方法及系统

说明书

本发明公开了一种基于3D‑YOLO的语义分割方法及系统，包括分别对采集到的RGB图像和深度图像按照拍摄时间分别进行排序，得到RGB图像帧序列及深度图像帧序列；将RGB图像帧序列及深度图像帧序列转化成三维点云图；将所述三维点云图作为输入，通过特征学习网络将所述三维点云图转化成三维特征张量，并输入3D‑Net网络；通过所述3D‑Net网络获得目标三维位置预测框。主要目的在于解决用于无人机的目标检测算法运行速度慢且无法生成三维标注框的问题，主要应用于计算机视觉技术领域。

技术领域

本发明实施例涉及计算机视觉技术领域，特别是涉及一种基于 3D-YOLO的语义分割方法及系统。

背景技术

无人机在高速运行的时候，障碍物出现在无人机视场内的时间通常很 短，这就要求目标检测算法能够快速、准确的识别障碍物的具体类型以做 出实时响应。

目前主流的目标检测算法如R-CNN等使用候选区域法首先在一幅图像 上产生目标的可能候选区域框，接着通过在这些候选框中运行分类器获得 目标的标签。分类结束后，通过后端处理对目标包围框进行细化，消除重 复检测，并根据场景中的其他对象对目标进行再分割。因为这些过程都需 要进行单独的训练，所以整个目标检测算法速度慢且优化困难，不能运用 在高速运行的无人机等实时性要求高的系统上。

YOLO网络将目标检测定义为一个单一的回归问题，直接利用整个图像 的特征进行目标定位和类别判断，但是由于传统的YOLO算法得到的标注框 是二维的，障碍物的二维信息不足以构建无人机飞行中的三维约束条件。

发明内容

有鉴于此，本发明实施例提供了一种基于3D-YOLO的语义分割方法及 系统，主要目的在于解决用于无人机的目标检测算法运行速度慢且无法生 成三维标注框的问题。

为了解决上述问题，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于3D-YOLO的语义分割方法， 该方法包括：

分别对采集到的RGB图像和深度图像按照拍摄时间分别进行排序，得 到RGB图像帧序列及深度图像帧序列；

将RGB图像帧序列及深度图像帧序列转化成三维点云图；

将所述三维点云图作为输入，通过特征学习网络将所述三维点云图转 化成三维特征张量，并输入3D-Net网络；

通过所述3D-Net网络获得目标三维位置预测框。

可选的，在将RGB图像帧序列及深度图像帧序列转化成三维点云图之 前，所述方法还包括：

在RGB图像帧序列及深度图像帧序列中，每个预设数量帧选择一帧图 像作为关键帧；

将确定的关键帧序列保留，将其他帧序列丢弃。

可选的，将RGB图像帧序列及深度图像帧序列转化成三维点云图包括：

根据点云坐标系分别与保存关键帧的RGB图像坐标系及深度图像坐标 系之间的映射关系，依次将RGB图像坐标系与深度图像坐标系中的每帧转 化为点云坐标系中的每一帧。

可选的，将所述三维点云图作为输入，通过特征学习网络将所述三维 点云图转化成三维特征张量，并输入3D-Net网络包括：

将所述三维点云图划分为多个三维子网格；

通过随机采样选取预设数量的三维点云图作为特征学习网络的输入， 将所述三维点云图转化成三维特征张量。

可选的，所述将所述三维点云图转化成三维特征张量包括：

将所述三维点云图依次输入到特征学习网络的全连接层、ReLU激活函 数和BN层，得到点云特征；