[发明专利]基于光流和三维重建的鲁棒跟踪方法和装置

权利要求书

1.一种基于光流和三维重建的鲁棒跟踪方法，其特征在于，包括：

为输入的视频数据创建连续的三维点云场景；

利用光流法处理所述视频数据生成目标物体的2D轨迹；

在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维重建；

根据动态三维重建的结果对所述目标物体进行跟踪。

2.根据权利要求1所述的方法，其特征在于，利用光流法处理所述视频数据生成2D轨迹，包括：

对所述视频数据的初始帧使用全卷积神经网络裁剪并调整由边框提供的图像区域，为每个边框输出一个分割蒙版，使用光流值将每个分割蒙版掩模的像素扭曲到下一帧，生成2D轨迹，在下一帧中对分割和扭曲后的像素集合进行计算，得到关联相似点，判断所述关联相似点是否满足指定的最小阈值，如果是，则合并到已有轨迹中，否则，将所述关联相似点作为新的轨迹。

3.根据权利要求2所述的方法，其特征在于，在下一帧中对分割和扭曲后的像素集合进行计算，得到关联相似点，包括：

在下一帧中利用每个点与其k个近邻的局部可达密度，计算局部离群因子并求取中值，在分割和扭曲后的像素集合中过滤掉离群因子高于所述中值的像素，对于保留的像素使用光流向量来进行相邻帧的关联，得到关联相似点。

4.根据权利要求1所述的方法，其特征在于，在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维物体重建，包括：

在所述三维点云场景中，通过最小二乘法拟合出的最佳刚体变换，将所述2D轨迹中的目标物体，在每个时间步上的所有点云融合成一致的三维重建。

5.根据权利要求4所述的方法，其特征在于，根据动态三维重建的结果对所述目标物体进行跟踪，包括：

根据动态三维重建的结果，计算当前帧与相邻帧的平均马氏距离，如果均小于指定阈值，则确定所述当前帧中的目标物体与所述相邻帧的目标物体属于同一个目标物体，合并它们的运动轨迹。

6.一种基于光流和三维重建的鲁棒跟踪装置，其特征在于，包括：

创建模块，其配置成为输入的视频数据创建连续的三维点云场景；

生成模块，其配置成利用光流法处理所述视频数据生成目标物体的2D轨迹；

重建模块，其配置成在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维重建；

跟踪模块，其配置成根据动态三维重建的结果对所述目标物体进行跟踪。

7.根据权利要求6所述的装置，其特征在于，所述生成模块具体配置成：

对所述视频数据的初始帧使用全卷积神经网络裁剪并调整由边框提供的图像区域，为每个边框输出一个分割蒙版，使用光流值将每个分割蒙版掩模的像素扭曲到下一帧，生成2D轨迹，在下一帧中对分割和扭曲后的像素集合进行计算，得到关联相似点，判断所述关联相似点是否满足指定的最小阈值，如果是，则合并到已有轨迹中，否则，将所述关联相似点作为新的轨迹。

8.根据权利要求7所述的装置，其特征在于，所述生成模块具体配置成：

在下一帧中利用每个点与其k个近邻的局部可达密度，计算局部离群因子并求取中值，在分割和扭曲后的像素集合中过滤掉离群因子高于所述中值的像素，对于保留的像素使用光流向量来进行相邻帧的关联，得到关联相似点。

9.根据权利要求6所述的装置，其特征在于，所述重建模块具体配置成：

在所述三维点云场景中，通过最小二乘法拟合出的最佳刚体变换，将所述2D轨迹中的目标物体，在每个时间步上的所有点云融合成一致的三维重建。

10.根据权利要求9所述的装置，其特征在于，所述跟踪模块具体配置成：

根据动态三维重建的结果，计算当前帧与相邻帧的平均马氏距离，如果均小于指定阈值，则确定所述当前帧中的目标物体与所述相邻帧的目标物体属于同一个目标物体，合并它们的运动轨迹。