[发明专利]一种多目标检测和空间定位方法及其系统

说明书

本发明公开了一种多目标检测和空间定位方法和系统，所述方法包括：获取深度相机的RGB图像和深度图像，并根据RGB图像和深度图像对深度相机进行标定；构建轻量级one‑stage目标检测模型，将所述RGB图像和深度图像输入到训练好的所述one‑stage目标检测模型，获取目标检测结果；对目标检测结果进行轮廓提取，获取目标的轮廓数据；根据所述目标检测结果转换到深度相机的坐标系中，生成深度相机下的目标定位结果。所述方法和系统通过改善现有目标检测的网络框架，采用轻量级的网络模型进行多目标检测，从而可以实现在低算力设备上进行多目标检测，降低了目标检测成本。

技术领域

本发明涉及目标检测技术领域，特别涉及一种多目标检测和空间定位方法及其系统。

背景技术

多目标检测技术是人脸识别、图像识别、视频识别、行人识别、大规模场景识别的核心研究领域问题。复杂场景中随时出现的目标物、障碍物、气候、光照是影响目标检测的主要因素，同时受到人为因素的影响会进一步的增加检测难度。传统的目标检测技术主要是依赖RGB摄像头检测，最初对RGB图像的检测技术普遍采用手动提取物体特征的方法，进而从众多的图像中进行匹配。近年来随着神经网络的发展，基于深度学习的目标检测技术得到了飞速的发展，使得多目标检测准确度有了很大的提升，但是深度学习对计算设备性能要求高，需要使用高性能设备才能实现实时计算。此外，由于RGB图像无法准确表达与目标物体的实际距离，单纯依靠RGB图像进行目标空间定位存在困难，加入深度信息可以获得与目标之间的距离形成深度数据，获得新的数据特征和维度。

针对目标深度数据的获取方式，目前主要有三种深度测距方式分别是单目视觉方案、双目视觉方案、RGB-D视觉方案，其中单目视觉方案利用单个摄像头所收集的RGB图像进行物体距离的测量，主要分为单帧计算和多帧计算，单帧计算通过针孔相机模型获取物体的真实距离，多帧计算通过前后帧的差异计算物体的真实距离，单目视觉方案计算量小但是测量距离精度较差，适合应用在简单场景。双目视觉方案类似于单目视觉方案的多帧计算，通过设立两个平行的摄像头计算图像视差来计算每个像素的深度，相对于单目视觉方案，物体深度精度更高、应用范围更广泛。RGB-D视觉方案是利用RGB-D相机在获取RGB图像的同时还能收集激光信息，通过将彩色图像与激光深度信息融合，将RGB图像增加一个新的深度维度，相较于双目视觉方案，物体深度精度更高、实时性强、便携性强等优势，适合用于复杂环境下使用。然而现有技术上述技术存在计算量大，电路开销大的问题，并且上述现有技术方案未解决空间定位问题。

发明内容

本发明其中一个发明目的在于提供一种多目标检测和空间定位方法及其系统，所述方法和系统通过改善现有目标检测的网络框架，采用轻量级的网络模型进行多目标检测，从而可以实现在低算力设备上进行多目标检测，降低了目标检测成本。

本发明另一个发明目的在于提供一种多目标检测和空间定位方法及其系统，所述方法和系统基于深度摄像机对目标检测结果进行深度图轮廓的提取，减少了深度轮廓提取的计算开销，降低轮廓的提取成本。

本发明另一个发明目的在于提供一种多目标检测和空间定位方法及其系统，所述方法和系统在低计算开销的基础上可以实现基于轮廓图对目标进行空间定位，使得对目标检测的深度精度更高，适合复杂环境下使用。

为了实现至少一个上述发明目的，本发明进一步提供一种多目标检测和空间定位方法，所述方法包括：

获取深度相机的RGB图像和深度图像，并根据RGB图像和深度图像对深度相机进行标定；

构建轻量级one-stage目标检测模型，将所述RGB图像和深度图像输入到训练好的所述one-stage目标检测模型，获取目标检测结果；

对目标检测结果进行轮廓提取，获取目标的轮廓数据；

根据所述目标检测结果转换到深度相机的坐标系中，生成深度相机下的目标定位结果。