[发明专利]一种实时6D位姿估计方法及计算机可读存储介质

权利要求书

1.一种实时6D位姿估计方法，其特征在于，包括如下步骤：

S1：从目标物体的三维模型中选取预设关键点并得到所述预设关键点在所述三维模型中基于三维模型原点坐标系下的坐标；

S2：通过网络预测所述目标物体的所述预设关键点在实际场景中基于相机坐标系下的坐标；

S3：将所述预设关键点在所述三维模型原点坐标系下的坐标和在所述相机坐标系下的坐标进行拟合计算得到所述目标物体当前的位姿。

2.如权利要求1所述的实时6D位姿估计方法，其特征在于，通过网络预测所述预设关键点在实际场景中基于所述相机坐标系下的坐标包括如下步骤：

S21：获取所述目标物体的RGB-D图像并将所述RGB-D图像中的全局信息转化为局部信息，所述局部信息是所述目标物体的局部RGB图像和所述目标物体的局部点云信息；

S22：对所述目标物体的局部RGB图像进行纹理特征提取、对所述目标物体的局部点云信息进行几何特征提取，利用密集融合得到的逐点密集对应进行逐点特征拼接并基于所述逐点特征识别出属于所述目标物体的点云；

S23：利用所述目标物体的所述逐点特征预测每个可视点与所述预设关键点之间的偏移向量；利用所述逐点特征与所述偏移向量对每个所述可视点与各个所述预设关键点的映射关系进行评估并根据评估结果对每个所述可视点的预测信息进行筛选和融合，得到所述预设关键点在所述相机坐标系下的坐标。

3.如权利要求2所述的实时6D位姿估计方法，其特征在于，依据预测的边界框对所述目标物体的RGB-D图像进行截取得到所述局部信息；

将截取后所述目标物体的局部点云的中心点设置为原点，方向与相机坐标系相同建立一个点云中心点坐标系并将所述目标物体在所述三维模型原点坐标系下的坐标转移到所述点云中心点坐标系下，消除所述相机坐标系中相机到所述点云中心点的偏移量以突出局部信息。

4.如权利要求3所述的实时6D位姿估计方法，其特征在于，使用ResNet与上采样相结合的方法对所述目标物体的局部RGB图像进行纹理特征提取；

利用PointNet对所述目标物体的局部点云信息进行几何特征提取。

5.如权利要求4所述的实时6D位姿估计方法，其特征在于，使用最大池化方法获取全局特征并将所述全局特征与每个所述可视点的所述逐点特征作为输入，预测所有所述可视点的语义标签得分，识别出属于所述目标物体的点云；

训练时使用softmax交叉熵作为损失函数:

其中，N为点数，c_n表示第n个可视点经过softmax处理后各类别的预测置信度，l_n是与c_n相对应的真实值，n是可视点的数量，选取各标签得分最高的类别作为预测的结果。

6.如权利要求5所述的实时6D位姿估计方法，其特征在于，结合多层感知器和ResNet设计一个偏移向量预测网络来预测各个所述可视点与每个所述预测关键点之间的逐点的偏移向量；

对于属于所述目标物体的一组可视点和一组所述预设关键点所述偏移向量预测网络以所述逐点特征f_n作为输入输出所述偏移向量

在训练阶段，使用L_vec监督的预测：

其中，M为预设关键点个数，为所述偏移向量的真实值；

各个所述可视点预测所述预设关键点坐标由可视点坐标和所述偏移向量通过如下公式得到：