[发明专利]基于模板匹配和概率分布的物体位姿估计方法

说明书

本发明涉及一种基于模板匹配和概率分布的物体位姿估计方法，包括以下步骤：步骤S1：对位姿估计训练集进行语义分割；步骤S2：将步骤S1语义分割检测到的目标与渲染模板匹配，生成初始的视点估计；步骤S3：利用深度学习网络学习输入图像像素和匹配模板之间的密集2D‑2D对应关系，进而生成图像像素与3D模型之间的2D‑3D对应；步骤S4：使用可微分的pnp层生成目标物体的六自由度信息，利用位姿的概率分布进行指导，生成最终的位姿解。该方法能够有效地对RGB图像中的目标进行位姿估计。

技术领域

本发明涉及模式识别与计算机视觉技术领域，特别是一种基于模板匹配和概率分布的物体位姿估计方法。

背景技术

计算机视觉领域的快速发展为解决机器人操作的许多任务做出了重要的贡献，包括对物体的抓取和检测。物体位姿估计是指估计以相机坐标为原点的物体的三维旋转矩阵和三维平移向量，可以获得物体的精确姿态，支撑对于物体的精细操作，在机器人抓取领域是非常重要的技术，近些年来也持续成为研究热点。在元宇宙中，为了提高沉浸式体验，真实准确地表示物体的空间状态是必不可少的，其中也包括获取目标物体的位置和位姿信息。因为物体位姿估计具有广泛的应用领域与巨大的商业价值，学术界与工业界都在不断地探索新的位姿估计技术。

尽管物体位姿估计技术已经取得很大进步，但是现有的仅使用RGB图像进行位姿估计方法在真实环境中还面临着许多挑战，由于没有深度信息指导，算法很容易受到相机拍摄角度和光照条件变化等因素影响，存在图像模糊、物体被相机视野截断而不完整以及物体之间存在互相遮挡等问题，导致从图像中提取特征变得非常困难。

发明内容

有鉴于此，本发明的目的在于提供一种基于模板匹配和概率分布的物体位姿估计方法，能够有效地对RGB图像中的目标进行位姿估计。

为实现上述目的，本发明采用如下技术方案：基于模板匹配和概率分布的物体位姿估计方法，包括以下步骤：

步骤S1：对位姿估计训练集进行语义分割；

步骤S2：将步骤S1语义分割检测到的目标与渲染模板匹配，生成初始的视点估计；

步骤S3：利用深度学习网络学习输入图像像素和匹配模板之间的密集2D-2D对应关系，进而生成图像像素与3D模型之间的2D-3D对应；

步骤S4：使用可微分的pnp层生成目标物体的六自由度信息，利用位姿的概率分布进行指导，生成最终的位姿解。

在一较佳的实施例中，所述步骤S1具体包括以下步骤：

步骤S11：从网络上获取公开的位姿估计数据集，得到用于模型训练的RGB图像和3D模型；

步骤S12：使用预训练操作后的语义分割网络S_FE从输入图像I中提取特征；首先，计算网络N个深度维度的特征，这些特征的索引为k，满足其中，表示非负整数集，N表示语义分割网络的深度维度；因此，S_FE中第k个深度的网络为满足其中，表示实数集，H^k和W^k表示第k个深度输入网络的图像宽度和高度，D^k表示第k个深度输入网络的通道数；代表特征提取器，沿着每个深度特征映射的的高度和宽度对进行空间平均扩展，产生长度为D^k的单个向量；

步骤S13：使用一组基于视点的模板来描述纹理化的3D模型，这些模板通过渲染目标生成，用来计算目标图像的特征图和来自目标描述符的特征之间的每像素相关性；

首先，将输入目标的RGB图像转换为第k个深度下的3D特征张量f^k，计算公式如下：

然后，将沿着xyz轴采样的目标模板转换为相应的密集模型描述符o^k，计算公式如下：