[发明专利]一种基于神经网络的车辆三维重建方法

说明书

本发明公开了一种基于神经网络的车辆三维重建方法，涉及三维重建技术领域；它的重建方法如下：步骤一：车辆行驶道路三维环境的感知目标为其中的车辆，通过采集道路环境的图像，经过图像分割，将其中的车辆分割出来；作为三维模型检索和神经网络的输入对象；步骤二：从三维模型库中提取出车辆的特征图，建立特征图字典；然后输入需要重建的车辆的图片，通过相似度量函数，在特征图字典中查找到最相似的特征向量，实现三维模型的检索；本发明利用单目摄像机完成对车辆行驶过程中道路环境中前方车辆的的分割、重建等研究工作；作为对激光雷达感知环境方案的补充，能更准确的定位前方车辆目标。

技术领域

本发明属于技术领域，具体涉及一种基于神经网络的车辆三维重建方法。

背景技术

随着信息高速传输技术和及其智能化技术的快速发展，无人驾驶驾驶受到越来越多的关注。为了更好的表示车辆的智能化程度，美国汽车工程师将自动驾驶分为了5个级别，级别越高，对自动驾驶系统的感知和决策要求越高。对L3级别以上的自动驾驶系统而言，驾驶操作将全部交由自动驾驶系统操作，系统必须结合实时路况信息和线下三维地图进行实时定位和决策。因此，当前行车环境的三维结构对于无人驾驶系统的感知和决策显得尤为重要。特别是无人车进行障碍物检测和路径规划时，重建当前驾驶环境下的三维结构并于线下生成的高精度地图进行结合，能更好的帮助无人驾驶系统进行决策。因此，为了提高无人驾驶决策的正确性，需要对当前行车环境进行实时的、准确的三维重建。

在自动驾驶技术中，其感知系统主要通过Lidar激光雷达、Camera相机、Radar毫米波雷达3个类别的传感器来进行道路环境感知。

摄像头方面，按视野覆盖位置可分为前视、环视(侧视+后视)及内视摄像头，其中前视摄像头最为关键，可以实现车道偏离警示系统(LDW)、前向碰撞预警系统(FCW)、行人识别警示(PCW)等功能。前视摄像头又有单目摄像头、双目摄像头，乃至多目摄像头等不同的解决方案。虽然双目或多目摄像头具有更高的测距精度和更广的视角，但由于其成本较高以及对精度和计算芯片的高要求，使得其仍未能大规模量产，目前以Mobileye的单目摄像头解决方案是市场的主流。

激光雷达是帮助自动驾驶系统进行正确感知的重要传感器。它通过发射和接收激光束,分析激光遇到目标对象后的折返时间,计算出目标对象与车的相对距离。并利用此过程中收集的目标对象表面大量密集的点的三维坐标、反射率和纹理等信息,快速复建出被测目标的三维模型及线、面、体等各种图件数据,建立三维点云图。然后在激光雷达采集的点云图像中,通过3D矩形或者语义分割将道路目标物体(多类型指定对象:包括但不限于车辆、行人等)精准标注出来。但是激光点云数据有一些无法克服的问题，其中最重要的就是稀疏性，提高雷达的线数是一个解决问题的途径，但是现有的高线数雷达的成本太高，现在还很难真正落地，而且高线数也无法从根本上解决远距离的稀疏问题。而且当遇到一些具有吸波性能的材质时并不能得到很好的反馈，从而导致降低环境感知的精度和完整性。

所以，为了避开激光雷达的性能缺陷，许多科研团队开始考虑利用应用机器视觉来实现道路环境三维目标的感知。还有一些研究者提出激光数据和图片数据相融合的方法，利用图像的2D目标检测模型提取目标2D区域，并将其映射到点云数据中,得到该目标的点云候选区域，然后预测候选区域的3D目标掩模，最后利用掩模对3D目标进行检测，但是最终不是很理想。

发明内容

为解决背景技术中的问题；本发明的目的在于提供一种基于神经网络的车辆三维重建方法。

本发明的一种基于神经网络的车辆三维重建方法，它的重建方法如下：

步骤一：车辆行驶道路三维环境的感知目标为其中的车辆，通过采集道路环境的图像，经过图像分割，将其中的车辆分割出来；作为三维模型检索和神经网络的输入对象；