[发明专利]一种基于改进PointConv的点云语义与实例联合分割方法及系统

权利要求书

1.一种基于改进PointConv的点云语义与实例联合分割方法，其特征在于：

获取的点云输入改进PointConv特征提取模块，经过共享编码模块，得到特征维度为512的点，所述特征维度为512的点同时通过语义分割解码和实例分割解码，得到实例特征预测F_ins和语义特征预测F_sem；所述实例分割解码部分引入上下文聚合模块以及门控传播模块，增强特征的学习；

双线自注意模块将改进PointConv特征提取模块所得到的语义特征预测F_sem和实例特征预测F_ins进行特征融合，分别进行实例分割和语义分割，得到包含有语义特征的实例信息和包含有实例特征的语义信息。

2.根据权利要求1所述的基于改进PointConv的点云语义与实例联合分割方法，其特征在于，所述输入改进PointConv特征提取模块的点云包括点的xyz归一化绝对坐标、rgb颜色信息以及点相对于局部坐标系的相对坐标x′y′z′。

3.根据权利要求1所述的基于改进PointConv的点云语义与实例联合分割方法，其特征在于，所述实例分割解码具体为：

先使用PointDeconv对共享编码模块的最终结果进行反卷积上采样到N_d个点，将这N_d个点的特征输入至上下文聚合模块，经过三次1x1卷积，分部得到特征Q、特征K和特征V，将特征Q与转置后的特征K进行矩阵乘法，再经过sigmoid压缩得到权重矩阵W₁，将权重矩阵W₁与特征V进行矩阵乘法，所得结果与再与特征V进行逐元素相加，得到最终的聚合特征；

将最终的聚合特征F_dec与共享编码模块PointConv_3输出的特征F_enc作为门控传播模块的输入，将F_dec和F_enc进行通道拼接，得到F_con，再经过1x1卷积、sigmoid压缩，得到N_d×1的权重矩阵W₂；将权重矩阵W₂在特征维度上平铺256次，与F_enc逐元素相乘，得到F_enc′，将权重矩阵1-W₂在特征维度上平铺256次，与F_dec逐元素相乘，得到F_dec′，再将F_enc′和F_dec′进行通道拼接，输出的最终结果；

将F_dec和F_enc两部分特征进行融合，完成第一步的解码操作，得到256维度的N_c个点；以类似的操作进行两次，将点数上采样到特征维度为128的N_b；最后经过一次PointDeconv，将点数上采样至输入点N_a，保持特征维度128，得到实例特征预测F_ins。

4.根据权利要求1所述的基于改进PointConv的点云语义与实例联合分割方法，其特征在于，所述语义分割解码具体为：采用反卷积的形式进行逐步上采样，直至点数采样至特征维度为128的输入点N_a，得到语义特征预测F_sem。

5.根据权利要求1所述的基于改进PointConv的点云语义与实例联合分割方法，其特征在于，所述实例分割具体为：

先将语义特征预测F_sem和实例特征预测F_ins传入STOI模块中，将F_sem同时经过两次1x1卷积，两次结果进行转置后相乘，再经过sigmoid压缩得到权重矩阵，权重矩阵与F_ins相乘，再与F_ins进行拼接，得带有语义信息的实例特征F_stoi，经过两层全连接层缓冲后，最终得到N_a×N_e的实例嵌入F′_stoi，再经过多次反向传播优化后，进行一次聚类操作，则完成实例分割。