[发明专利]一种分割驱动形状先验变形的类别级物体6D位姿估计方法

权利要求书

1.一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，包括如下步骤：

S1:通过三维相机获取数据，所述数据包括2D图像和点云，2D图像输入2D物体检测器得到图像块和类别标签；所述2D图像通过包围框裁剪得到图像块；

S2：将所述图像块、点云和类别标签输入到多模态特征的实例分割网络中分割，得到物体图像块和物体点云：

S21：利用颜色嵌入网络提取图像块的颜色特征；所述包围框通过相机参数投影到三维空间裁剪点云得到点云块，利用点云嵌入网络提取点云块的几何特征；

S22：所述颜色特征和几何特征逐点融合，得到融合特征，所述融合特征输入多层感知机并经过最大池化得到全局特征；

S23：融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数最高的二值类别作为结果实现物体分割，得到物体图像块和物体点云；采用二值交叉熵损失函数L_seg作为物体分割的损失函数；

S3：将物体点云每个点的坐标减去点云中心坐标，将点云中心平移到原点，得到零均值化的物体点云；

S4：引入形状先验，将形状先验、物体图像块和零均值化的物体点云输入形状变形网络得到施加在形状先验上的变形场，形状先验叠加变形场得到重建物体模型：

S41：形状先验、物体图像块和零均值化的物体点云作为形状变形网络的输入，

S42：物体图像块通过颜色嵌入网络提取颜色特征，零均值化的物体点云通过点云嵌入网络提取几何特征，所述颜色特征和几何特征结合得到实例点特征，形状先验通过多层感知机提取先验点特征，其中T_nor表示零均值化的物体点云、S_c表示形状先验、R表示实数、N_c表示形状先验中点的数量、N_t表示物体点云中点的数量；

S43：所述实例点特征经过多层感知机和平均池化得到实例全局特征，所述先验点特征经过多层感知机和平均池化得到先验全局特征；

S44：所述实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征；

S45：实例融合特征通过连续卷积生成施加在形状先验上的变形场所述变形场施加在形状先验上，得到重建物体模型S＝S_c+O；S_c表示的是形状先验；先验融合特征通过连续卷积生成对应矩阵A，对应矩阵A中的第i行代表T_nor中的第i点与S所有点的软对应关系，物体点云在NOCS中对应的坐标集P通过A乘S获得：P＝A×S＝A(S_c+O)；

S46：设置若干损失对形状变形网络进行监督；

S5：通过重建物体模型和物体点云之间的配准获得物体6D位姿。

2.如权利要求1所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述损失包括重建损失、对应损失和正则化损失。

3.如权利要求2所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述重建损失是使用重建物体模型S与物体的真实模型S_gt之间的倒角距离来衡量形状差异，用来监督变形场O，重建损失利用如下损失函数得到：

可以利用L_cd＝d_cd(S,S_gt)＝d_cd(S_c+O,S_gt)

其中

L_cd表示的是重建损失、x表示的是S中一个点的坐标、y表示的是S_gt中与x 对应的点的坐标、d_cd表示的是倒角距离(Chamfer Distance)。