[发明专利]图像处理的训练数据生成方法、图像处理方法及其装置

说明书

公开图像处理的训练数据生成方法、图像处理方法及其装置。图像处理方法和图像处理装置从车辆的驾驶图像检测对象，获得关于车辆与对象之间的高度差的信息，以及将驾驶图像中的对象的图像域坐标和关于高度差的信息输入到神经网络，并确定对象的世界域坐标。

本申请要求于2018年9月12日提交到韩国知识产权局的第10-2018-0109024号韩国专利申请的优先权，所述韩国专利申请的公开通过整体引用包含于此。

技术领域

公开的实施例涉及用于图像处理的训练数据生成方法、图像处理方法及其装置。

背景技术

用于自动驾驶的对象的识别和检测可通过车辆的驾驶图像来执行。此时，通过单应性操作的非线性转换可用于将二维(2D)图像域坐标重构(reconstruct)为三维(3D)世界域坐标。

然而，通过单应性操作将2D图像域坐标转换为3D世界域坐标可能是不正确的，并且当车道和对象被检测到并且车辆的位置被估计时可能发生大的误差。当车辆被驾驶时，这样的误差导致不稳定性。特别地，在道路的高度变化的灯部分中，正确性会显著劣化。

发明内容

根据公开的实施例的一个方面，提供一种图像处理方法，所述图像处理方法包括：检测驾驶图像内的对象；获得车辆与对象之间的高度差；通过驾驶图像中的对象的图像域坐标和高度差的神经网络处理，来确定对象的世界域坐标；以及基于对象的世界域坐标针对对象控制道路上的车辆。

高度差可包括：车辆的俯仰信息以及驾驶图像中的消失线信息。

所述图像处理方法还可包括：随着时间的流逝跟踪对象的图像域坐标；以及对跟踪的对象的图像域坐标进行滤波，并将对象的图像域坐标的类型转换为浮点。

所述图像处理方法还可包括：基于驾驶图像中的消失线信息，对驾驶图像中的对象的图像域坐标执行缩放归一化。

对象包括具有移动性的动态对象和没有移动性的静止对象，所述神经网络可包括：用于估计动态对象的世界域坐标的第一神经网络和用于估计静止对象的世界域坐标的第二神经网络中的至少一个。

当对象是具有移动性的动态对象时，所述图像处理方法还可包括：通过使用将动态对象的图像域坐标转换为世界域坐标的结果，生成与动态对象对应的实时地图；以及通过使用实时地图，来生成用于针对动态对象控制道路上的车辆的车辆的驾驶参数。

当对象是没有移动性的静止对象时，所述图像处理方法还可包括：通过使用将静止对象的图像域坐标转换为世界域坐标的结果，生成与静止对象对应的地标地图；以及通过使用地标地图，来确定用于针对静止对象控制道路上的车辆的车辆的位置和路线中的至少一个。

所述图像处理方法还可包括：输出对象的世界域坐标。

所述图像处理方法还可包括：获得由安装在车辆中的相机捕获的驾驶图像。

根据公开的实施例的一个方面，提供一种训练数据生成方法，所述训练数据生成方法包括：通过跟踪驾驶图像内的多个动态对象，来获得所述多个动态对象的多个图像域坐标；将所述多个动态对象之中的第一动态对象的图像域坐标转换为第一动态对象的第一世界域坐标，其中，第一动态对象位于距车辆的预定匹配距离内；通过经由使用距离传感器跟踪多个周围对象，来获得所述多个周围对象的多个第二世界域坐标；通过将所述第一世界域坐标与所述多个第二世界域坐标进行比较，来将所述多个周围对象中的一个周围对象与第一动态对象进行匹配；以及生成包括第一动态对象的所述图像域坐标和匹配的周围对象的第二世界域坐标的训练数据。

将第一动态对象的所述图像域坐标转换为所述第一世界域坐标的步骤可包括：通过单应性操作，将第一动态对象的初始的图像域坐标转换为所述第一世界域坐标。