[发明专利]基于深度估计与类内平均形状的室内物体位姿估计方法

权利要求书

1.基于深度估计与类内平均形状的室内物体位姿估计方法，其特征在于，包括以下步骤：

1)获取基础数据，包括室内场景RGB图像数据和室内物体三维模型历史数据；

2)使用RGB图像对室内场景进行深度估计，对RGB图像进行室内物体分割并预测分类，计算物体所属分类的类内平均形状，结合深度估计结果和类内平均形状，重建室内物体归一化空间坐标，包括以下步骤：

2.1)采用全卷积网络对RGB图像进行深度估计：

D＝Ω(I)

式中，D表示预测的深度图，Ω表示全卷积网络，I表示输入的RGB图像；

2.2)采用Mask-RCNN对RGB图像进行物体分割和分类，计算物体所属类别的类内平均形状：

式中，M_c表示计算得出的类内平均形状，c＝1,2,…,n，c为类别序号，n为类别个数，Ψ表示由三层全连接卷积神经网络组成的嵌入向量解码器，表示第c类物体第i个实例的编码特征向量，i＝1,2,…,m，i为实例序号，m为实例个数，定义为：

式中，表示第c类物体第i个实例的三维模型，φ表示PointNet模型编码器；

2.3)结合深度估计结果和类内平均形状获得重建的归一化空间坐标：

P＝Φ(σ(M_c)⊙θ(D))

式中，P为重建得出的归一化空间坐标；Φ表示重建网络，由共享权重的四层感知机构成；σ表示类内平均形状特征提取网络，由PointNet网络构成；⊙表示特征拼接，将类内平均形状特征和深度图像特征进行拼接；θ表示深度图像特征提取网络，由一个四层感知机构成；

3)根据归一化空间坐标和深度图进行相似性变换，得出室内物体位姿估计结果。

2.根据权利要求1所述的基于深度估计与类内平均形状的室内物体位姿估计方法，其特征在于：采用可视化的方法将室内物体位姿估计结果显示在设计软件上，其中，所述可视化是指将物体位姿估计结果通过绘制3D包围盒表示出来。

3.根据权利要求1所述的基于深度估计与类内平均形状的室内物体位姿估计方法，其特征在于：在步骤1)中，所述室内场景RGB图像数据是指通过第三方设计软件加载室内三维场景模型进行渲染后截图获取的图像数据；所述室内物体三维模型历史数据是指通过第三方设计软件数据库获取的各类室内物体三维模型。

4.根据权利要求1所述的基于深度估计与类内平均形状的室内物体位姿估计方法，其特征在于：在步骤3)中，对步骤2)计算得出的物体归一化空间坐标P，与深度估计结果D进行相似性变换，计算室内物体位姿估计结果，其中采用以下公式：

T＝f(D，P)

式中，T表示计算得出的位姿估计矩阵，包括从归一化空间坐标变换到深度估计结果的3自由度位移和3自由度旋转，f表示相似性变换中使用的Umeyama算法。