[发明专利]一种动态场景下小物体的位姿追踪方法及装置

说明书

本发明实施例公开了一种动态场景下小物体位姿追踪方法及装置，包括：在无干预的情况下，获取小物体的初始深度图，并初始化小物体的三维模型，以及小物体的包围盒；循环执行下述过程，实现对小物体的追踪：基于小物体的三维模型和当前时刻小物体的位姿预测小物体的第一深度图；基于小物体的第一深度图，更新小物体的包围盒；实时采集小物体在运动状态下的第二深度图；基于小物体的包围盒剔除第二深度图中的干扰信息，得到最终深度图；将所述最终深度图和所述第一深度图进行匹配，更新当前时刻小物体的位姿；基于当前时刻小物体的位姿和所述最终深度图更新小物体的三维模型。这样实现了对未知的小物体位姿的追踪。

技术领域

本发明涉及位姿追踪领域，尤其涉及一种动态场景下小物体位姿追踪方法及装置。

背景技术

当前在很多领域，经常涉及到在动态场景中对一个物体位姿的追踪问题，例如，在混合现实领域智能设备可以根据自身随着用户做出的动作来确定智能设备当前的姿态，进而根据当前的姿态做出响应；或者在工业领域，例如通过对机械臂抓取的物体的位姿进行追踪，以确定下一步的操作。

目前很常用的一种动态场景下的物体位姿追踪方法是基于模型的，即这类方法需要预先建立被跟踪物体的模型，进而通过建立的模型识别物体的位姿。

但是由于这类方法对建立的物体的模型有一定的依赖性，因此对于未知的物体，无法实现对位姿的追踪。

发明内容

有鉴于此，本发明实施例公开了一种动态场景下小物体位姿追踪方法及装置，实现了在无需预先建模的情况下，对未知物体的追踪。

本发明实施例公开了一种动态场景下小物体位姿追踪方法，包括：

在无干预的情况下，获取小物体的初始深度图，并根据所述小物体的初始深度图初始化小物体的三维模型，并根据小物体尺寸初始化小物体的包围盒；

基于所述小物体的三维模型和当前时刻小物体的位姿预测小物体的第一深度图；

基于所述小物体的第一深度图，更新小物体的包围盒；

实时采集小物体在运动状态下的第二深度图；

基于小物体的包围盒剔除所述第二深度图中的干扰信息，得到最终深度图；

将所述最终深度图和所述第一深度图进行匹配，更新当前时刻小物体的位姿；

基于当前时刻小物体的位姿和所述最终深度图更新小物体的三维模型，并返回执行基于所述小物体的三维模型和当前时刻小物体的位姿预测小物体的第一深度图。

可选的，所述初始化所述小物体的包围盒，包括：

根据所述小物体的尺寸确定所述包围盒的长度；

基于所述包围盒的长度、小物体的尺寸以及相机的参数进行分析，确定包围盒的原点坐标；

基于所述包围盒的长度确定构成所述包围盒的每个立方格的边长，并基于每个立方格的边长确定每个立方格在包围盒的位置；

基于包围盒的原点坐标和每个立方格在包围盒内的位置确定每个立方格的中心坐标；

初始化表示每个立方格状态的数值；所述立方格的状态包括：位于包围盒外和位于包围盒内。

可选的，所述基于所述小物体的第一深度图，更新小物体的包围盒，包括：

生成所述第一深度图的二值化掩膜；

将构成包围盒的每个立方格投影到第一深度图上；

基于所述第一深度图的二值化掩膜中各个像素的值和每个立方格投影到第一深度图的位置，确定每个立方格的数值。