[发明专利]基于协同分割与数据增强的自监督三维重建方法及系统

权利要求书

1.一种基于协同分割与数据增强的自监督三维重建方法，其特征在于，包括：

图像对获取：获取输入数据，根据所述输入数据获取具有重合区域且视角相似的多视角图像对；

深度估计处理：通过对所述多视角图像对进行深度估计处理，获取光度一致性损失；

协同分割处理：通过对所述多视角图像对进行协同分割处理，获取语义一致性损失；

数据增强处理：通过对所述多视角图像对进行数据增强处理，获取数据增强一致性损失；

构建损失函数：根据所述光度一致性损失、所述语义一致性损失和所述数据增强一致性损失构建损失函数；

模型输出：根据所述损失函数构建并训练神经网络模型，基于所述神经网络模型获取与所述输入数据对应的三维模型。

2.根据权利要求1所述的方法，其特征在于，所述协同分割处理具体包括：

协同分割图像获取：通过非负矩阵对所述多视角图像对进行协同分割，获取协同分割图像；

交叉熵损失获取：获取参考视角和非参考视角，将所述非参考视角上的协同分割图像进行重建得到重投影协同分割图像，并计算所述重投影协同分割图像与所述参考视角上的协同分割图像之间的交叉熵损失；

语义一致性损失获取：根据所述交叉熵损失获取语义一致性损失。

3.根据权利要求1或2所述的方法，其特征在于，所述深度估计处理具体包括：

基于深度估计网络对所述多视角图像进行深度估计，获取深度图像；

获取参考视角和非参考视角，将所述非参考视角上的深度图像进行重建得到重投影视图像，并根据所述重投影视图像计算回归损失；

根据所述回归损失获取光度一致性损失。

4.根据权利要求3所述的方法，其特征在于，所述数据增强处理具体包括：

采用不同的数据增强策略对所述多视角图像对进行数据增强；

以所述深度图像为伪标签对数据增强后的多视角图像对进行监督，获取不同所述数据增强策略下的数据损失；

根据所述数据损失获取数据增强一致性损失。

5.根据权利要求1所述的方法，其特征在于，所述图像对获取具体包括：

获取输入数据，所述输入数据包括图像或视频；

判断所述输入数据是否为图像：若是，则在所述输入数据中选取多视角图像；若否，则将所述输入数据转换为多视角图像；

在所述多视角图像中获取视角相似且具有相同区域的多视角图像对；

对所述多视角图像对进行图像预处理。

6.根据权利要求5所述的方法，其特征在于，所述“在所述多视角图像中获取视角相似且具有相同区域的多视角图像对”还包括：

通过二维尺度不变图像特征对所述多视角图像进行特征匹配，获取图像特征的匹配程度；

根据所述匹配程度计算图像之间的视角重合程度，并对所述视角重合程度进行排序，获取视角相似且具有相同区域的多视角图像对。

7.根据权利要求2所述的方法，其特征在于，所述协同分割图像获取具体包括：

通过卷积神经网络对所述多视角图像对中的每张图像进行特征提取，获取每个视角的特征图张量，所有视角的特征图张量构成特征图矩阵；

通过链式迭代式对所述特征图矩阵进行非负矩阵分解，求得第一非负矩阵和第二非负矩阵；

将所述第一非负矩阵转换为与图像维度对应的格式，获取协同分割图像。