[发明专利]雷达辅助的单个图像三维深度重建

说明书

公开用于雷达辅助的单个图像三维(3D)深度重建的技术。在一方面中，自我车辆的车载计算机的至少一个处理器从自我车辆的雷达传感器接收自我车辆的环境的至少一个雷达图像，从自我车辆的摄像头传感器接收自我车辆的环境的至少一个摄像头图像，以及基于至少一个雷达图像和至少一个摄像头图像，使用卷积神经网络(CNN)来生成自我车辆的环境的深度图像。

相关申请的交叉引用

本专利申请要求于2019年3月6日递交的、编号为62/814,658、标题为“RADAR-AIDED SINGLE IMAGE THREE-DIMENSIONAL DEPTH RECONSTRUCTION”的美国临时申请的利益，以及于2020年3月4日递交的、编号为16/809,348、标题为“RADAR-AIDED SINGLE IMAGETHREE-DIMENSIONAL DEPTH RECONSTRUCTION”的美国非临时申请的利益，上述申请均转让给本申请的受让人，以及以引用方式全部明确地并入本文中。

技术领域

本公开内容的各方面通常涉及自主驾驶技术或半自主驾驶技术。

背景技术

现代机动车辆越来越多地结合如下技术：帮助驾驶员避免不知不觉地驶入相邻车道或者做出不安全的变换车道(例如，车道偏离警告(LDW))，或者当他们倒车时向驾驶员警告其它车辆在其后面的技术，或者如果在其前面的车辆突然地停止或变慢，则自动地刹车(例如，前方碰撞警告(FCW))的技术，以及其它事情。汽车技术的持续的演进目的在于实现甚至更大的安全效益，以及最终实现可以处理整个驾驶任务而无需用户干预的自动驾驶系统(ADS)。

存在已经被定义以实现完全自动化的六个级别。在级别0，人类驾驶员完成所有的驾驶。在级别1，在车辆上的高级驾驶员辅助系统(ADAS)有时可以辅助人类驾驶员转向或者制动/加速，但是不是同时进行两者。在级别2，在车辆上的ADAS实际上本身可以在一些情况下同时控制转向和制动/加速两者。人类驾驶员随时必须继续充分集中注意力，以及执行驾驶任务的剩余部分。在级别3，在车辆上的ADS本身可以在一些情况下执行驾驶任务的所有方面。在这种情况下，当ADS请求人类驾驶员这样做时，人类驾驶员必须在任何时候准备收回控制权。在所有其它情况下，人类驾驶员执行驾驶任务。在级别4，在某些情况下，在车辆上的ADS本身可以执行所有的驾驶任务以及监测驾驶环境，基本上完成所有的驾驶。在这些情况下，人类不需要集中注意力。在级别5，在车辆上的ADS可以在所有情况下完成所有的驾驶。人类乘员仅仅是乘客，以及从来不需要参与驾驶。

发明内容

下文给出与本文中公开的一个或多个方面有关的简化的总结。照此，下面的总结不应当被认为是对与所有预期的方面有关的广泛的概述，也不应当被认为标识与所有预期的方面有关的关键的或决定性的元素或者划定与任何特定的方面相关联的范围。因此，下面的总结具有唯一的目的以在下文给出的详细的描述之前，以简化的形式给出与涉及本文中公开的机制的一个或多个方面有关的某些概念。

在一方面中，由自我车辆的车载计算机中的至少一个处理器执行的雷达辅助的单个图像3D深度重建的方法包括从自我车辆的雷达传感器接收自我车辆的环境的至少一个雷达图像，从自我车辆的摄像头传感器接收自我车辆的环境的至少一个摄像头图像，以及基于至少一个雷达图像和至少一个摄像头图像，使用卷积神经网络(CNN)来生成自我车辆的环境的深度图像。

在一方面中，自我车辆的车载计算机包括存储器和通信地耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置为从自我车辆的雷达传感器接收自我车辆的环境的至少一个雷达图像，从自我车辆的摄像头传感器接收自我车辆的环境的至少一个摄像头图像，以及基于至少一个雷达图像和至少一个摄像头图像，使用由至少一个处理器执行的CNN来生成自我车辆的环境的深度图像。