[发明专利]一种自适应的实时人体三维重建方法

说明书

本发明公开了一种自适应的实时人体三维重建方法，涉及人体三维重建技术领域，具体为一种自适应的实时人体三维重建方法，包括以下步骤：S1、人体重建模块；S2、主动视角规划模块；S3、飞行机器人模块。该自适应的实时人体三维重建方法提出一个自适应的三维重建系统，该系统包括飞行机器人模块，人体重建模块以及主动视角规划模块，这三个模块之间相互协同促进，并最终达到自适应的实时精确重建和提高机器人效率的目的；还包括了其创新性地提出了概率TSDF，将三维重建问题与机器人的视点规划问题统一在一个共同空间，系统在进行重建的同时，在同一空间内对其进行空间分类，概率模型估计，以及透过信息熵减，优化机器人的下一个最佳观测视点。

技术领域

本发明涉及人体三维重建技术领域，具体为一种自适应的实时人体三维重建方法。

背景技术

人类行为感知和理解是大量智能场景应用的基础，比如人机交互，人体动作分析和识别，沉浸式游戏和其他虚拟现实应用。其中一个非常重要的问题是如何重建出逼真的人体三维模型。随着深度相机的出现和发展，以视频速率捕捉深度和彩色信息变得可能，特别是消费级深度相机因其低成本和便携性尤为受到青睐。但由于相机视场角受限，如果需要重建一个完整的人体，相机需要远离目标2m以上摆设，极大的限制了重建的精度。近距离融合多帧深度信息的重建方法可以增加重建精度，但其重建结果仍不够理想，此外此类方法的重建场景一般限制于静止的相机阵列或者需要人手持相机手动对目标进行扫描。小型机器人的引入可以极大解决上述问题，为自动化完成扫描任务提供可能性，但在传统技术上，人体重建和机器人的轨迹规划往往被区分为不同问题处理，使得计算复杂度增加。

基于上述背景，此专利提出了一种自适应的实时人体三维重建方法，利用装配深度相机和小型无人机对目标进行智能化重建。

发明内容

针对上述现有技术的不足，本发明提供了一种自适应的实时人体三维重建方法。

为实现以上目的，本发明通过以下技术方案予以实现：一种自适应的实时人体三维重建方法，包括以下步骤：

S1、人体重建模块：飞行机器人模块捕捉重建目标的深度信息并将这些深度数据流传导给人体重建模块，以及人体重建模块则利用输入的深度数据将其转化为三维的概率TSDF，并对其进行融合重建实时输出高精度模型；

S2、主动视角规划模块：概率TSDF被直接通过占用率模型的信息增益优化用于主动视角规划模块的视角生成；

S3、飞行机器人模块：视角规划模块生成的机器人下一个最佳观测视角反馈给飞行机器人，飞行机器人对自身轨迹进行规划并执行。

可选的，所述步骤S1、人体重建模块中，概率TSDF模型S_k(p)如下公式所示，其中F_k(p)与是W_k(p)传统TSDF的组成部分，分别储存体像素的在相机光线投射方向上的截断距离和其对应的权重，概率TSDF的权重及截断距离值的更新迭代过程与传统TSDF类似；概率TSDF还包含L_k(p)，表征体像素被占据的概率：

可选的，所述步骤S1、人体重建模块中，在概率TSDF中，根据体像素的权重和截断距离值还可以将体像素分类以下三种体像素类型，用于区分该体像素是否属于物体本身及其可能概率，分类标准如下式所示：

可选的，所述步骤S2、主动视角规划模块中，前沿体像素周围一定范围内的体像素往往包含对人体重建非常重要的信息，引导机器人下一步的观测，从而可以更快得到完整的人体三维模型，以及将前沿体像素邻域体像素p的信息增益定义为：

其中信息增益按照正态分布随距离高斯递减。