[发明专利]使用神经网络的图像分段

说明书

描述了一种用于将每个像素分配给分段类别集合中的各自分段类别的、生成图像的分段的方法。该方法包括获得图像的特征，该图像包括多个像素。对于从初始时间步长开始并持续直到最终时间步长的一个或多个时间步长中的每一个，该方法包括从图像的特征和截至时间步长的当前分段输出生成网络输入，使用卷积递归神经网络处理网络输入以生成对于时间步长的中间分段输出，以及从对于时间步长的中间分段输出和截至时间步长的当前分段输出生成对于时间步长的更新分段输出。该方法包括从更新分段输出生成图像的最终分段。

相关申请的交叉引用

本申请是2017年11月20日提交的美国临时专利申请No.62/588,883的非临时申请并要求其优先权，其全部内容通过引用合并于此。

背景技术

本说明书涉及使用神经网络分段图像。

神经网络是机器学习模型，它使用一个或多个非线性单元的层来预测接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层的输入，即下一个隐藏层或输出层。网络的每一层根据各自的参数集合的当前值从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以在计算当前时间步长的输出时使用来自先前时间步长的网络的内部状态中的一些或全部。递归神经网络的示例是包括一个或多个LSTM存储块的长短期记忆(LSTM)神经网络。每个LSTM存储块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许单元存储单元的先前状态，例如，用于生成当前激活或提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了一种实现为在一个或多个位置上的一个或多个计算机上的计算机程序的系统，该系统使用递归神经网络对输入图像进行分段。特别地，输入图像包括多个像素，并且系统将每个像素分配给预定的分段类别集合的各自的分段类别来生成输入图像的分段。

本说明书中描述的主题可以在特定实施例中实现，以实现以下优点中的一个或多个。通过使用本说明书中描述的迭代处理对图像进行分段，系统可以通过改进在先前迭代中生成的分段来准确分段输入图像。此外，通过如本说明书中所描述的对图像进行分段，系统可以有效地调制由分段处理所消耗的计算资源的量，以满足对可用计算资源、生成分段的时间或分段质量的约束。特别地，该系统可以有效地调整生成图像分段的时间步长的量，以解决不同处理约束，而无需重新训练用于生成分段的神经网络。换句话说，该系统可以通过动态地调整生成图像分段的时间步长的量来有效地调整图像分段处理所消耗的计算资源的数量。

本公开的第一方面提供一种由一个或多个计算机执行的方法。所述方法包括：获得输入图像的特征，所述输入图像包括多个像素。所述方法还包括：对于从初始时间步长开始并且持续直到最终时间步长的一个或多个时间步长中的每个，从输入图像的特征以及截至时间步长的当前分段输出生成网络输入，其中，当前分段输出定义将多个像素中的每一个分配给预定分段类别的集合的各自分段类别的输入图像的当前分段；使用卷积递归神经网络处理网络输入以生成用于时间步长的中间分段输出；以及从对于时间步长的中间分段输出和截至时间步长的当前分段输出生成用于时间步长的更新分段输出。所述方法还包括从对于最终时间步长的更新分段输出生成输入图像的最终分段。