[发明专利]用于高质量图像处理的机器学习

权利要求书

1.一种用于训练条件变分自编码器以执行图像处理的计算机实现的方法，所述方法包括：

由一个或多个计算设备获得训练示例，所述训练示例包括真实值图像数据、从将不想要的图像数据添加到所述真实值图像数据导出的增强图像数据以及指示所述不想要的图像数据在所述增强图像数据内的一个或多个位置的掩码；

由所述一个或多个计算设备利用所述条件变分自编码器的第一编码器模型来处理所述增强图像数据和所述掩码，以生成用于所述图像数据的嵌入；

由所述一个或多个计算设备利用第二编码器模型处理所述真实值图像数据和所述掩码以生成一个或多个分布值；

由所述一个或多个计算设备利用所述条件变分自编码器的解码器模型来处理所述嵌入和所述一个或多个分布值，以生成预测图像数据，所述预测图像数据包括由所述掩码指示的所述一个或多个位置处的替换图像数据，其中，所述替换图像数据替换所述不想要的图像数据；

由所述一个或多个计算设备基于所述预测图像数据与所述真实值图像数据的比较来评估一个或多个损失函数；以及

由所述一个或多个计算设备至少部分地基于所述一个或多个损失函数修改所述条件变分自编码器的一个或多个参数值。

2.根据权利要求1所述的计算机实现的方法，其中，所述真实值图像数据包括二维照片。

3.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述真实值图像数据包括真实值三维点云，所述增强图像数据包括添加到所述真实值三维点云的一个或多个不想要的点，并且所述掩码标识所述一个或多个不想要的点。

4.根据前述权利要求中的任一项所述的计算机实现的方法，其中，评估所述一个或多个损失函数包括评估所述预测图像数据与所述真实值图像数据之间的L1损失。

5.根据前述权利要求中的任一项所述的计算机实现的方法，其中，评估所述一个或多个损失函数包括评估基于判别器输出生成的对抗损失，所述判别器输出由判别器模型基于所述预测图像数据和所述真实值图像数据生成。

6.根据权利要求5所述的计算机实现的方法，其中，所述判别器模型包括：

第一纹理级网络，所述第一纹理级网络处理所述真实值图像数据的在由所述掩码标识的所述一个或多个位置处的部分，以生成第一纹理判别器输出；

第二纹理级网络，所述第二纹理级网络处理所述预测图像数据的在由所述掩码标识的所述一个或多个位置处的部分，以生成第二纹理判别器输出；以及

语义级网络，所述语义级网络包括共享网络，所述共享网络处理已从其中移除了所述不想要的数据的所述真实值图像数据，以生成语义判别器输出；

其中，所述语义级网络基于所述第一纹理判别器输出、所述第二纹理判别器输出和所述语义判别器输出来生成所述判别器输出。

7.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述分布值包括平均值和标准偏差值。

8.根据权利要求7所述的计算机实现的方法，其中，所述分布值由KL散度损失函数惩罚。

9.根据前述权利要求中的任一项所述的计算机实现的方法，进一步包括：

将所述分布值乘以随机值以生成修改的分布值，其中，所述判别器模型处理所述修改的分布值以生成所述预测图像数据。

10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，获得所述增强图像数据包括：

标识不想要的数据的集合；

确定所述不想要的数据遮挡所述真实值数据的位置；

利用所述不想要的数据的集合替换所述位置处的所述真实值数据的一部分。

11.根据前述权利要求中的任一项所述的计算机实现的方法，其中：

所述真实值图像数据描绘场景；

所述不想要的图像数据包括遮挡对象；以及

所述替换图像数据描绘由被遮挡对象遮挡的场景的一个或多个部分。