[发明专利]用于自主车辆的短语识别模型

说明书

本公开的各方面涉及训练和使用短语识别模型来识别图像中的短语。作为示例，可以接收包括多个短语的选择的短语列表252。多个短语中的每个短语包括文本。可以接收初始的多个图像。可以通过识别包括来自选择的短语列表的一个或多个短语的包含短语的图像来从初始的多个图像中选择训练图像集。训练图像集中的每个给定的包含短语的图像可以被标记有信息，该信息识别来自包括在给定的包含短语的图像中的选择的短语列表中的一个或多个短语。可以基于训练图像集来训练模型，使得模型被配置为响应于接收到输入图像，输出指示多个短语中的短语是否被包括在输入图像中的数据。

相关申请的交叉引用

本申请要求2018年6月26日提交的申请序列号16/018,490的权益，其公开内容通过引用并入本文。

背景技术

自主车辆(诸如在自主驾驶模式下操作时不需要人类驾驶员的车辆)可用于帮助将乘客或物品从一个位置运输到另一位置。自主车辆的重要组件是感知系统，该感知系统允许车辆使用相机、雷达、LIDAR传感器和其他类似设备感知并解释其周围环境。当自主车辆处于运动时，感知系统执行许多决策，例如是否加速、减速、停止或转弯。自主车辆还可以使用相机、传感器和全球定位设备来收集和解释(interpret)关于其周围环境(例如，停放的汽车、树木、建筑物等)的图像和传感器数据。

发明内容

本公开的一个方面提供了一种训练用于识别(identify)图像中的短语的短语识别模型(phrase recognition model)的方法。该方法包括：由一个或多个服务器计算设备接收包括多个短语的选择的短语列表，其中多个短语中的每个短语包括文本；由一个或多个服务器计算设备接收初始的多个图像；由一个或多个服务器计算设备通过识别包含短语的图像来从初始的多个图像中选择训练图像集，其中所述包含短语的图像包括来自选择的短语列表的一个或多个短语，其中每个给定的包含短语的图像被标记有识别给定的包含短语的图像中所包括的来自选择的短语列表的一个或多个短语的信息；以及由一个或多个服务器计算设备使用训练图像集训练短语识别模型，使得短语识别模型被配置为响应于接收到输入图像，输出指示多个短语中的短语是否被包括在输入图像中的数据。

在一个示例中，训练短语识别模型还基于包括在训练图像集中的上下文信息，该上下文信息对应于训练图像集中的图像内的对象的边缘。在另一示例中，选择训练图像集包括：在训练图像集中包括来自初始的多个图像中的不包括来自选择的短语列表中的任何短语的一个或多个图像。在另一示例中，短语识别模型还被配置为输出针对输出数据的置信度得分。在另一示例中，所述多个短语中的至少一些文本包括提供车辆在道路上操纵时应遵循的规则的一个或多个单词。在另一示例中，输出数据还识别包括在输入图像中的所述多个短语中的短语。在另一示例中，所述多个短语中的至少一些文本包括提供车辆在道路上操纵时应遵循的规则的短语。在另一示例中，训练短语识别模型，使得短语识别模型被配置为提供输出数据，而无需对输入图像进行逐个字符识别分析。在另一示例中，使用提供用于短语识别模型的模型参数值的神经网络来执行所述训练。在另一示例中，该方法还包括：将短语识别模型发送到具有自主驾驶模式的车辆，以使车辆的一个或多个计算设备能够使用短语识别模型来为所述车辆做出驾驶决策。

本公开的另外的方面提供了一种用于控制具有自主驾驶模式的车辆的方法。该方法包括：由车辆的一个或多个计算设备接收车辆的外部环境的图像；由一个或多个计算设备使用短语识别模型处理图像，以便识别图像中的包括在选择的短语列表中的文本；由一个或多个计算设备识别所识别的文本的语义含义；以及由一个或多个计算设备基于所识别的语义含义在自主驾驶模式下控制车辆。