[发明专利]从机器学习模型输出推断出的实例分割

说明书

本发明讨论了用于训练机器学习(ML)模型的改进技术。训练ML模型可以基于示例子集。特别地，训练可以包括：识别与表示对象的图像的区域相关联的参考区域，以及至少部分地基于与第一边界框相关联的第一置信度得分，选择第一困难示例以包括在示例子集中。在一些情况下，第一置信度得分和第一边界框可以与特征地图的第一部分相关联。接下来，训练可以包括确定第一边界框与参考区域的第一对准度高于阈值对准度，并且作为响应，用第二困难示例代替第一困难示例。

相关申请的交叉引用

本专利申请要求于2018年6月20日提交的序列号为16/013,729，名称为“机器学习技术”的美国实用新型专利申请的优先权，以及于2018年6月20日提交的序列号为16/013,748，名称为“机器学习的受限多尺度推断”的美国实用新型专利申请的优先权，以及于2018年6月20日提交的序列号为16/013,764，名称为“从机器学习模型输出推断出的实例分割”的美国实用新型专利申请的优先权，列号为16/013,729、16/013,748以及16/013,764的全部内容通过引用并入本申请。

背景技术

计算机视觉对于某些应用(例如操作自主车辆)至关重要。为计算机配备模仿人类视觉的功能可以包括构建获取图像，识别图像中的显着部分并以计算机可用于进行进一步操作的形式向计算机表示图像的显着部分的软件组件。可以为计算机配备这种功能的一种形式的软件是机器学习(ML)模型。

先前训练ML模型以识别图像的显着部分的尝试已导致有缺陷的ML模型。例如，某些形式的ML模型训练会导致ML模型无法正确地区分彼此接近的对象(例如，在摄像机视图中经过另一个行人的行人)，从而导致对一个或两个对象的无关和/或不正确的标识。

此外，某些ML模型比这种有缺陷的ML模型提供了更准确的对象标识，但是需要太多的计算才能用于实时应用和/或可能需要昂贵的专用计算设备，而这些设备可能不适合特定用途。例如，使用用于计算机视觉的ML模型的自主车辆可以接收视频流，并且可能需要每50毫秒或更短的时间做出决定以操作自主车辆。由于这些ML模型中的某些模型需要一定的计算时间来识别对象，因此到检测到对象时，检测到的对象可能已经移动了足够大的距离，因此，对象检测对于决策不再可靠。例如，其中一些ML模型可能需要超过100毫秒的计算时间。

附图说明

参照附图描述详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的项目。

图1示出了用于示例场景的示例图像，包括该场景的示例鸟瞰图。

图2A示出了示例图像以及如何将该图像离散化为网格。

图2B示出了示例性感兴趣区域(ROI)和为其生成ROI的图像部分。

图3示出了指示两个区域的示例基准真相(ground truth)，以及指示第二较小区域的示例收缩基准真相。

图4A-4D示出了示例ROI，与ROI相关联的示例置信度得分以及为其生成ROI的图像部分。

图5示出了图4A-4D的示例ROI，这些示例ROI是相对于由基准真相指示的区域，并且与示例ROI和基准真相指示的区域的对准度相关联。

图6A和图6B示出了根据本文讨论的非最大抑制替换技术的用于训练ML模型的示例过程的流程图。

图7A示出了第一ML模型对图像内具有各种尺寸的对象的示例第一响应曲线。

图7B示出了第二ML模型对图像内具有各种尺寸的对象的示例第二响应曲线。

图8A示出了根据本文所讨论的技术的示例图像，该图像作为输入被提供给第一ML模型，以及响应于接收到第一缩放图像而由第一ML模型生成的ROI。