[发明专利]一种基于多摄像机三维重建的虚拟三维周界管控算法

说明书

本发明涉及虚拟三维模型周界管控，具体涉及一种基于多摄像机三维重建的虚拟三维周界管控算法，对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框，预测三维点云数据中的三维边界框，对三维边界框中的三维点云数据进行过滤，并识别过滤后三维点云数据的物理中心，基于物理中心、三维边界框对虚拟三维模型进行周界检测识别；本发明提供的技术方案能够有效克服现有技术所存在的无法对虚拟三维模型进行准确边缘检测识别的缺陷。

技术领域

本发明涉及虚拟三维模型周界管控，具体涉及一种基于多摄像机三维重建的虚拟三维周界管控算法。

背景技术

近年来，随着深度学习和计算机视觉的发展，大量的二维目标检测算法被提出并且广泛应用于各种视觉产品中。然而，对于无人驾驶、移动机器人和虚拟现实等应用，二维检测技术远远不能满足实际需求。为了提供更精确的目标位置以及边缘检测信息，三维目标检测技术已经成为重要研究热点，其目的是在真实三维场景中捕捉感兴趣目标，并且给出其在真实世界坐标系下的绝对位置、大小以及朝向等信息。

现在这个问题受到越来越多学者的关注，因为雷达提供可靠的深度信息可以用于精确定位物体并且确定其形状。通常来说，根据所依赖的数据类型，可以分为基于雷达数据的三维检测方法和基于图像数据的三维检测方法。基于雷达点云数据的方法能够实现较高精度的三维目标检测任务，但是这类方法存在明显的缺点：过度依赖硬件设备，造价昂贵且不具备便携性，严重限制了此类方法的应用场景。基于图像数据的方法由于其数据采集方便且来源广泛，基于单目相机的三维目标检测研究更加具有应用前景。

随着计算机技术的发展，图像处理越来越普遍。边缘检测是图像处理和计算机视觉中的基本问题，可以为其他计算机视觉任务，如语义分割、实例分割以及物体跟踪等提供重要基础信息。然而，目前的边缘检测大多为二维图像的边缘检测，很少有技术能够解决虚拟三维模型的边缘检测问题，且少有的虚拟三维模型边缘检测的准确性也较低。

发明内容

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于多摄像机三维重建的虚拟三维周界管控算法，能够有效克服现有技术所存在的无法对虚拟三维模型进行准确边缘检测识别的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于多摄像机三维重建的虚拟三维周界管控算法，包括以下步骤：

S1、对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框；

S2、预测三维点云数据中的三维边界框；

S3、对三维边界框中的三维点云数据进行过滤，并识别过滤后三维点云数据的物理中心；

S4、基于物理中心、三维边界框对虚拟三维模型进行周界检测识别。

优选地，S1中对二维图像进行二维检测，获取物体在二维图像中的位置，并生成二维边界框，包括：

利用卷积神经网络对二维图像进行二维检测和深度估计，对二维图像进行视觉识别，同时根据深度信息将二维图像转化为三维点云数据。

优选地，S2中预测三维点云数据中的三维边界框，包括：

得到每个二维边界框中感兴趣区域的位置信息，对感兴趣区域内的图像进行缩放，并利用卷积神经网络进行特征提取，得到感兴趣区域的特征图，根据特征图对三维边界框进行预测，并获得三维边界框中包含的三维点云数据。

优选地，所述得到每个二维边界框中感兴趣区域的位置信息，包括：

根据深度信息计算每个二维边界框的深度数据，从而得到二维边界框中感兴趣区域的位置信息。