[发明专利]使用神经网络翻译模型改进图像分割

权利要求书

1.一种计算机实现的方法，包括：

生成输入图像的特征表示，其中所述输入图像包括与第一特征类型相关联的第一特征和与第二特征类型相关联的一个或更多个附加特征；

使用与所述第一特征类型相关联的第一解码器对所述特征表示进行解码以生成第一图像，其包括所述第一特征但不包括所述一个或更多个附加特征；

使用与所述第二特征类型相关联的第二解码器对所述特征表示进行解码以生成第二图像，其包括所述一个或更多个附加特征但不包括所述第一特征；

组合所述第一图像和所述第二图像以生成第三图像；

比较所述输入图像和所述第三图像以确定所述输入图像和所述第三图像之间的差异；以及

基于所述输入图像和所述第三图像之间的所述差异来更新所述第一解码器，以使所述第一解码器能够生成分割掩码，其识别给定图像中与所述第一特征类型相关联的给定特征的位置。

2.根据权利要求1所述的计算机实现的方法，其中生成所述输入图像的所述特征表示包括：使用第一编码器将所述输入图像编码到潜在空间。

3.根据权利要求2所述的计算机实现的方法，其中所述第一特征类型对应于所述潜在空间的第一区域，所述第二特征类型对应于所述潜在空间的第二区域。

4.根据权利要求2所述的计算机实现的方法，还包括基于所述输入图像和所述第三图像之间的所述差异来更新所述第一编码器，以使所述第一编码器能够将所述第一特征编码到所述潜在空间的第一区域，并将所述一个或更多个附加特征编码到所述潜在空间的第二区域。

5.根据权利要求2所述的计算机实现的方法，其中所述第一编码器经由一组长跳连接耦合到所述第一解码器，所述长跳连接压缩和/或串接所述特征表示的至少部分以输入到所述第一解码器。

6.根据权利要求2所述的计算机实现的方法，其中所述第一编码器经由一组长跳连接耦合到所述第二解码器，所述长跳连接压缩和/或串接所述特征表示的至少部分以输入到所述第二解码器。

7.根据权利要求1所述的计算机实现的方法，还包括：

基于翻译图像更新所述特征表示，其中所述翻译图像已被修改以移除所述第一特征；

使用所述第二解码器对所述特征表示进行解码以生成第四图像，所述第四图像包括所述一个或更多个附加特征但不包括所述第一特征；以及

基于所述翻译图像和所述第四图像之间的差异来更新所述第二解码器。

8.根据权利要求1所述的计算机实现的方法，还包括至少部分地基于一个或更多个缩放参数和移位参数来生成所述分割掩码。

9.根据权利要求1所述的计算机实现的方法，其中基于所述输入图像和所述第三图像之间的所述差异来更新所述第一解码器包括：评估第一目标函数，其指示与所述输入图像和所述第三图像相关联的第一损失值。

10.根据权利要求1所述的计算机实现的方法，其中基于所述输入图像和所述第三图像之间的所述差异来更新所述第一解码器包括：评估第二目标函数，其指示与所述第一特征和被翻译为移除所述第一特征的所述第一特征的版本相关联的第一损失值。