[发明专利]结合语义分割的多描述编码方法及系统

权利要求书

1.结合语义分割的多描述编码方法，其特征是，包括：

将原始图像与相对应的语义分割标签作为输入传至多描述特征生成网络；

多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；

生成的两个描述分别进入语义分割编码网络中编码，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；

两个描述标记为第一描述和第二描述；

对第一描述和第二描述，分别作上采样处理得到大小与原始图像一致的图像，结合初始的语义分割标签经过语义分割编码网络得到输入描述的残差图像，残差图像与上采样图像相加得到第一粗重构图像及第二粗重构图像；

生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像；

如果第一粗重构图像成功被多描述解码网络接收，然而第二粗重构图像在传输过程中丢失，则第一粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第一边重构图像；

如果第二粗重构图像成功被多描述解码网络接收，然而第一粗重构图像在传输过程中丢失，则第二粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第二边重构图像；

如果第一粗重构图像与第二粗重构图像都成功被多描述解码网络接收，则两个粗重构图像与语义分割标签一起被解码得到最终重构图像，此为中心重构图像。

2.如权利要求1所述的结合语义分割的多描述编码方法，其特征是，得到的第一粗重构图像及第二粗重构图像经过信息道传输，语义分割标签经过标准编码器编码也传输进信息道，而后经解码器解码。

3.如权利要求1所述的结合语义分割的多描述编码方法，其特征是，在多描述特征生成网络中采用卷积操作，生成描述。

4.如权利要求1所述的结合语义分割的多描述编码方法，其特征是，得到两个描述之后，使用语义分割编码网络对其分别编码，对描述进行上采样操作。

5.如权利要求1所述的结合语义分割的多描述编码方法，其特征是，对第一描述和第二描述可依次进行处理得到描述的压缩重构图像，或者同时进行处理得到各自相应的压缩重构图像。

6.如权利要求4所述的结合语义分割的多描述编码方法，其特征是，上采样操作后得到的图像与初始的语义分割标签结合作为输入传输进生成网络FineNetwork中生成一个残差值。

7.结合语义分割的多描述编码系统，其特征是，包括多描述特征生成网络，语义分割编码网络以及三个多描述解码网络；

多描述特征生成网络接收原始图像与相对应的语义分割标签作为输入信息；

多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；

生成的两个描述分别进入语义分割编码网络中编码，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；

两个描述标记为第一描述和第二描述；

对第一描述和第二描述，分别作上采样处理得到大小与原始图像一致的图像，结合初始的语义分割标签经过语义分割编码网络得到输入描述的残差图像，残差图像与上采样图像相加得到第一粗重构图像及第二粗重构图像；

生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像；

如果第一粗重构图像成功被多描述解码网络接收，然而第二粗重构图像在传输过程中丢失，则第一粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第一边重构图像；

如果第二粗重构图像成功被多描述解码网络接收，然而第一粗重构图像在传输过程中丢失，则第二粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第二边重构图像；

如果第一粗重构图像与第二粗重构图像都成功被多描述解码网络接收，则两个粗重构图像与语义分割标签一起被解码得到最终重构图像，此为中心重构图像。