[发明专利]一种构建自我监督点云学习的语义扰动重构网络的方法有效
申请号: | 202110676639.1 | 申请日: | 2021-06-18 |
公开(公告)号: | CN113379767B | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 乔宇;徐名业;王亚立;周志鹏 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06T7/11 | 分类号: | G06T7/11;G06T7/12;G06V10/44;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 北京市诚辉律师事务所 11430 | 代理人: | 耿慧敏;朱伟军 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 构建 自我 监督 学习 语义 扰动 网络 方法 | ||
1.一种构建自我监督点云学习的语义扰动重构网络的方法:
构建语义扰动重构网络,其包括基本分支和扰动分支,其中基本分支包括第一特征提取网络和第一预测网络,第一特征提取网络以整个点云作为输入,提取第一局部特征和第一全局特征,第一预测网络基于所提取的第一局部特征和第一全局特征进行点云重建以及法向估计;扰动分支包括第二特征提取网络和第二预测网络,第二特征提取网络以语义扰动的点云作为输入,提取对应的第二局部特征和语义扰动点云的第二全局特征,第二预测网络基于所提取的第二局部特征和第二全局特征进行点云重建;
以优化设定的损失函数为目标训练所述语义扰动重构网络,其中训练过程中,第一特征提取网络和第二特征提取网络共享权重,并通过点云一致性损失的约束进行无监督学习,以利用扰动分支来引导基本分支进行特征学习。
2.根据权利要求1所述的方法,其中,根据以下步骤获得所述扰动点云:
针对点云,使用表示图频率的特征值来构造点图,并分别收集急剧变化分量和平缓变化分量
利用正态分布的噪声扰动得到并结合平缓变化分量得到最终语义扰动的点云,表示为:
3.根据权利要求1所述的方法,其中,第一特征提取网络和第二特征提取网络具有相同的分层结构,并共享网络参数,使用迭代最远点采样方法在层与层之间对点云进行下采样操作,并在编码部分对每一层提取点的局部特征,且对于解码部分,通过上迁移transitionup将下采样过的点云特征传播回原始点云的点数,其中使用上采样的插值操作对每个层的特征插值,从而得到原始点数量的特征作为多尺度特征表示。
4.根据权利要求1所述的方法,其中,所述点云一致性损失以最小化基本分支和扰动分支的点云之间的特征距离为优化目标。
5.根据权利要求4所述的方法,其中,所述点云一致性损失包括全局一致性的损失、局部一致性损失和局部到全局一致性损失,所述全局一致性的损失表示为:
所述局部一致性损失表示为:
所述局部到全局一致性损失表示为:
其中,G为基本分支提取的第一全局特征,G′是扰动分支提取的第二全局特征,B为每轮输入点云的数量,y表示基本分支提取的第一局部特征,y′表示扰动分支提取的第二局部特征,i和j表示点的索引,N表示点云中点的数目,τ是设定的超参数。
6.根据权利要求1所述的方法,其中,第一预测网络包括法向量预测网络和点云重建预测网络,所述法向量预测网络基于输入的第一全局特征、第一局部特征和原始点坐标的级连,学习具有丰富结构和几何信息的表示,获得估计的法向量;所述点云重建预测网络用于学习包含丰富语义信息的表示。
7.根据权利要求1所述的方法,其中,所述损失函数还包括重建损失和法向量估计损失,该法向量估计损失用于表征第一预测网络估计的法线准确性,所述重建损失用于表征第一预测网络和第二预测网络的重建损失。
8.一种点云分析方法,包括以下步骤:
采集点云数据输入到根据权利要求1至7任一项所述方法训练的语义扰动重构网络的基本分支,获得预测的法向量估计结果和点云数据对应的类别。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110676639.1/1.html,转载请声明来源钻瓜专利网。