[发明专利]用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质

说明书

用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质。在第一步骤中，通过摄像机来检测（20）摄像机图像。此外，通过至少一个3D传感器来检测（21）3D测量点。可选地，对这些摄像机图像中的至少一个摄像机图像进行分割（22）。接着，通过数据融合单元将这些摄像机图像与这些3D测量点融合（23）成虚拟传感器的数据。最后，输出（24）所得到的数据，用于进一步处理。

技术领域

本发明涉及一种用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质。本发明还涉及一种机动车，在该机动车中使用按照本发明的方法或按照本发明的设备。

背景技术

如今，现代机动车已经具有大量用于各种各样的第2级（Level-2）辅助系统（半自动化系统）的传感器。

例如，DE 10 2011 013 776 A1描述了一种用于检测或跟踪车辆周围环境中的对象的方法。从光流中依据对至少两张图像中的对应的图像点的确定来检测这些对象。在此，从该光流中依据对所述至少两张图像中的对应的图像点的确定来确定这些对象的距离。不考虑如下那些对象，所述那些对象处在测距传感器的检测区域内并且所述那些对象的从该光流中所确定的距离小于借助于该测距传感器所确定的距离值。

DE 10 2017 100 199 A1描述了一种用于检测行人的方法。在第一步骤中，接收车辆附近的区域的图像。在使用第一神经网络的情况下对该图像进行处理，以便确定行人可能在该图像之内所处的位置。接着，在使用第二神经网络的情况下对该图像的所确定的位置进行处理，以便确定是否有行人在场。在有行人在场的情况下，向驾驶辅助系统或自动化驾驶系统发出通知。这些神经网络可包括深度卷积网络。

对于第3级以及更高级的系统（高度自动化和自主系统）来说，所建造的传感器的数目将进一步升高。在这种情况下，出于安全原因将存在冗余的检测区域，这些冗余的检测区域由多个传感器以不同的测量原理来覆盖。

在这种情况下，摄像机传感器、雷达扫描仪和激光扫描仪起到至关重要的作用。尤其应假定：在关键区域存在至少一个摄像机传感器和至少一个3D传感器，它们覆盖这些关键区域。3D传感器的示例是具有高程测量的雷达扫描仪或激光扫描仪。

在传统系统中存在所谓的对象跟踪，该对象跟踪建立对象假设，这些对象假设通过新的传感器测量来被确认并更新。传统上，在此使用所谓的“预测校正滤波器”、诸如卡尔曼滤波器。如果有新的测量抵达，则借助于动态模型将所有对象都预测到该新的测量的测量时间点。紧接着尝试将该测量分配给现有对象。如果这成功，则对踪迹进行更新。如果这失败，则建立新的对象假设、也就是说新的踪迹。

在该背景下，DE 10 2011 119 767 A1描述了一种用于合并摄像机数据和距离传感器数据的方法，以便在车辆中利用具有摄像机和距离传感器的传感器子系统并且利用车载计算机来跟踪至少一个外部对象。基于由车辆的传感器子系统所接收到的输入，车载计算机确定新对象的对应于该对象的数据可用。车载计算机对新对象的数据进行记录并且按照预测算法来估计该对象的所预期的位置和所预期的外观，以便生成针对该对象所预测的轨迹。车载计算机还分析该对象的运动，包括将所预测的轨迹与被分配给该对象并且存储在车载计算机的数据库中的现有轨迹进行比较。

在传统的对象跟踪的情况下，尤其是在关联步骤中要考虑一系列挑战，以便避免歧义。例如，动态状态并不能始终良好地被估计：视踪迹的测量和状态而定，常常并不知道笛卡尔速度矢量。只能通过较长时间的观察来估计加速度。这可能导致在预测步骤中的重大误差。对象还可能表现得与动态模型相反，例如由于突然制动而表现得与动态模型相反。这种异常行为同样可能导致预测误差。