[发明专利]借助具有空间先验的类别平衡自训练的区域适应

说明书

本发明提供一种对车辆进行导航的车辆、系统和方法。所述车辆和系统包括用于捕获车辆目标区域的目标图像的数码相机；以及处理器。该处理器配置用于：确定用于训练神经网络的目标分割损失以便对目标区域中的目标图像执行语义分割，通过在对目标区域的训练进行监控的同时减小所述目标分割损失来确定所述目标图像的伪标记的值，使用训练的神经网络对所述目标图像执行语义分割以分割所述目标图像并对所述目标图像中的对象进行分类，以及基于所述目标图像中分类的对象对所述车辆进行导航。

技术领域

本公开涉及一种用于使神经网络适应于对从各区域捕获的图像执行语义分割的系统和方法，用于自主驾驶和高级驾驶员辅助系统(ADAS)。

背景技术

在自主车辆和ADAS中，一个目标是了解周围环境，以便可以将信息提供给驾驶员或车辆本身来相应地做出决策。实现这一目标的一种方法是使用车载数码相机捕获环境的数字图像，然后使用计算机视觉算法识别数字图像中的对象和可行驶空间。这种识别任务可以通过语义分割来实现，其中对数字图像中的像素进行归类，并密集地分配与预先定义的语义类别(例如汽车、行人、道路、建筑物等)集合相对应的标记。可以使用具有人类注释标记的训练图像训练神经网络用于语义分割。通常，由于注释资源的限制，训练图像可能仅覆盖世界各地的一小部分，可能包含特定天气和一天中特定时段的图像，并且可能是被特定类型的照相机采集的。这些训练图像来源的限制是训练图像的区域所特有的。然而，车辆在不同的区域运行是很常见的。由于不同的区域可以具有不同的照明、街道风格、看不见的对象等，因此在一个区域训练的神经网络在另一个区域并不总是工作得很好。因此，期望提供一种使训练用于在一个区域语义分割的神经网络适应以便在另一个区域中有效地运行该神经网络的方法。

发明内容

在一个示例性实施方式中，公开一种对车辆进行导航的方法。该方法包括确定用于训练神经网络的目标分割损失以便对目标区域图像执行语义分割，通过在对目标区域的训练进行监控的同时减小目标分割损失来确定目标图像的伪标记的值，使用训练的神经网络对目标图像执行语义分割以分割该目标图像并对目标图像中的对象进行分类，以及基于目标图像中分类的对象对车辆进行导航。

该方法进一步包括确定用于训练神经网络的源分割损失以便对源区域图像执行语义分割，以及在对目标区域的训练进行监控的同时减小源分割损失和目标分割损失的总和。该方法可以进一步包括通过调整神经网络的参数和伪标记的值来减少该总和。

在各实施方式中，确定目标图像的伪标记的值包括在对多个分割类别中的每一个进行监控的同时减小多个分割类别的目标分割损失。确定目标分割损失进一步包括将用于分割类别的空间先验分布与分割类别中像素的类别概率相乘。可以使用对抗性区域适应训练和/或自训练区域适应训练来对神经网络进行训练。对训练的监控可以包括执行用于目标分割损失的类别平衡。可以在目标图像的语义分割期间应用平滑算法。

在另一个示例性实施方式中，公开了一种用于车辆的导航系统。该系统包括用于捕获车辆目标区域的目标图像的数码相机，以及处理器。处理器配置用于：确定用于训练神经网络以便对目标区域中的目标图像执行语义分割的目标分割损失，通过在对目标区域的训练进行监控的同时减小目标分割损失来确定目标图像的伪标记的值，使用训练的神经网络对目标图像进行语义分割以分割该目标图像并对目标图像中的对象进行分类，以及基于目标图像中分类的对象对车辆进行导航。

处理器进一步配置用于确定用于训练神经网络的源分割损失以对源区域图像执行语义分割，以及在对目标区域的训练进行监控的同时减小源分割损失和目标分割损失的总和。在一个实施方式中，处理器进一步配置用于通过调整神经网络的参数和伪标记的值来减小该总和。处理器进一步配置用于通过在对多个分割类别中的每一个进行监控的同时减小多个分割类别的目标分割损失来确定目标图像的伪标记的值。处理器进一步配置用于将用于分割类别的空间先验分布与分割类别中像素的类别概率相乘。