[发明专利]传感器数据分割

说明书

一种系统可以包括一个或多个处理器，所述处理器被配置为接收代表环境的多个图像。图像可以包括由图像捕获设备生成的图像数据。处理器还可以被配置为将图像数据传输到被配置为分割图像的图像分割网络。处理器还可以被配置为接收与环境相关联的传感器数据，包括由与图像捕获设备不同类型的传感器生成的传感器数据。处理器可以被配置为将传感器数据与分割的图像相关联以创建训练数据集。处理器可以被配置为将训练数据集传输到机器学习网络，该机器学习网络被配置为运行传感器数据分割模型，并使用训练数据集来训练传感器数据分割模型，使得传感器数据分割模型被配置为分割传感器数据。

优先权要求

该PCT国际专利申请要求享有于2017年11月21日提交的美国专利申请第15/820,245号的优先权的利益，其公开内容通过引用方式并入本文。

背景技术

传感器可用于生成指示环境中的对象的传感器数据。然而，由传感器生成的传感器数据的原始形式可能使得难以使用或分析数据。因此，可以对传感器数据进行分割以将其转换成更有用的形式(例如，标识数据中的不同对象，可驱动的(即，可以在其上进行驱动)的传感器数据中的区域等)。分割数据通常涉及将传感器数据划分或组织为更有意义或更有组织的形式，使得例如可以标识或分类传感器数据中捕获的数据的区域。数据分割可以由人类手动执行。然而，手动分割可能会过分耗时且成本过高，通常使其不适合于许多应用。可以使用计算机将图像数据自动分割，这将图像划分为不同的片段，以提供图像的更有意义或更合用的表示。例如，可以对图像进行分割以唯一地标识图像内的对象，这在一些应用中可以是有用的，例如自主车辆的操作。然而，可能难以自动分割从其他类型的传感器获得的传感器数据。在这样的情况下，由人类进行手动分割可能是必要的，从而使从这样的传感器类型获得的传感器数据的成本过高或难以用于一些应用。

附图说明

参考附图描述了详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现于其中的附图。不同附图中的相同附图标记指示相似或相同的项目。

图1是用于捕获图像数据和传感器数据、分割所捕获的图像、将传感器数据投影到分割的图像上以及生成训练数据集的示例过程的图形流程图。

图2是示例车辆通过其行进并捕获图像数据和传感器数据的示例环境。

图3是用于生成分割的图像、训练示例传感器数据分割模型以及分割传感器数据的示例架构。

图4A描绘了具有多个图像捕获设备和传感器的示例车辆的侧视图。

图4B描绘了图4A中所示的示例车辆的俯视图。

图5A描绘了示例图像，该示例图像包括图像数据和针对对象分割的示例图像的分割版本。

图5B描绘了图5A中所示的示例图像以及针对可驱动表面而分割的示例图像的分割版本。

图6是用于捕获图像数据和传感器数据的示例过程的图形流程图。

图7是用于分割图6中所示的图像、将图6中捕获的传感器数据投影到分割的图像上以及生成训练数据集的示例过程的图形流程图。

图8是用于捕获传感器数据和使用示例传感器数据分割网络来分割传感器数据以生成分割的传感器数据以供轨迹模块生成车辆轨迹的示例过程的图形流程图。

图9是用于使用包括分割的图像和传感器数据的示例训练数据集来训练示例传感器数据分割模型的示例过程的流程图。

图10是用于使用示例传感器数据分割模型来分割传感器数据的示例过程的流程图。

图11描绘了用于实现本文描述的过程的示例计算机架构的框图。

具体实施方式