[发明专利]用于使在视频图像中所标识的对象可靠关联的方法和装置

说明书

用于使在视频图像中所标识的对象可靠关联的方法和装置。用于使在借助于成像传感器（30）来接收的输入图像（x）序列中的对象关联的计算机实现的方法，其中根据所述输入图像首先确定分别属于相应输入图像（x）的在相应输入图像（x）中能看到的对象的列表的序列，其中借助于机器学习系统根据所述列表的序列来使所述列表的所标识的对象彼此关联。

技术领域

本发明涉及一种用于使在由传感器所检测到的图像之内的对象关联（Zuordnen）的方法、一种对象关联系统、一种控制系统、一种用于训练对象关联系统的方法、一种计算机程序和一种机器可读存储介质。

背景技术

从还未先行公开的DE 10 2017 223 264.1中公知一种用于在所提供的输入信号中探测对象的方法，其中根据所提供的输入信号来探测对象并且其中根据对该对象的探测来操控执行器。

发明内容

本发明的优点

如果对象利用视频摄像机来拍摄，或者更一般性地被拍摄为成像传感器的图像序列，则有挑战的是在相继的图像中使所标识的对象彼此关联、也即给所标识的对象配备身份。因此，该所谓的联合问题（Assoziationsproblem）在于：使在两个时间上相继的传感器信号和中所识别出的对象彼此关联。该关联例如可以通过启发法来进行。在这种情况下，在和中所识别出的对象之间引入间隔。在和的对象之间的每个关联都得到一个总间隔。然后，该启发法可以规定：将该总间隔最小化，也就是说使在和中的那些尽可能靠近的对象彼此关联。

在该做法中的主要问题在于：在和之间的对象可能消失，或者重新出现。也就是说，不是每个来自的对象都对应于中的对象，并且反之亦然。该启发法还忽视了所述联合的物理特性。最后，产生如下数据组花费很高，该数据组包含出现和消失的对象的所有可能的组合。

与此相对地，具有独立权利要求1的特征的方法具有如下优点：该方法可以用合成地、也即在计算机上生成的测试数据来训练，使得可以容易地提供大量训练数据，以便如此来解决所述联合问题。

本发明的其它方面是并列权利要求的主题。有利的扩展方案是从属权利要求的主题。

本发明的公开内容

因而，在第一方面中，本发明涉及一种用于使在借助于成像传感器来接收的输入图像序列中的对象关联的计算机实现的方法，其中根据所述输入图像首先确定分别属于相应输入图像的在相应输入图像中能看到的对象的列表的序列，其中借助于机器学习系统根据所述列表的序列来使所述列表的所标识的对象彼此关联。

除了对象的类型之外，对象列表也包括其它属性，诸如相应对象的位置、取向或者速度。

也就是认识到：从单个图像中良好地标识对象及其属性是可能的，而该关联必须覆盖多个场景，这有利地实现为使得该关联利用机器学习系统来进行，针对其训练可轻易地切合实际地生成合成训练数据。

这些对象彼此间的关联可以有利地实现为使得还给这些对象中的每个对象分配明确的标识特征、即身份。

在该方面的一个扩展方案中可以规定：根据这些输入图像，首先确定分别属于相应输入图像的无纹理（texturfrei）图示的序列，其中借助于对象探测器在所述无纹理图示的至少两个无纹理图示中标识对象，其中借助于机器学习系统根据无纹理图示序列来使所述至少两个无纹理图示的所标识的对象彼此关联。

该机器学习系统、尤其是神经网络可以由于其依据无纹理图示来使所标识的对象关联而被特别好地利用人工生成的数据来训练。因为已知的是：机器学习系统、诸如神经网络在分类时赋予对象的纹理非常大的权重，而同时对这种纹理的计算机辅助的生成尽可能好，使得显得逼真的纹理被呈现给人类观察者。但是，巨大的挑战是将这些纹理生成为使得这些纹理在机器学习系统中可证实地导致所希望的分类。可以避开该问题，因为省去了纹理。