[发明专利]表演者的无标记点三维实时捕获系统

摘要

本发明涉及一套表演者的无标记点三维实时捕捉系统。步骤包括：1）房间式采集硬件系统的建立：通过分析相机的参数，提出一种多目RGB-Depth相机的配置模型，多目相机的视角范围有效覆盖表演者；进而，建立房间式的封闭采集间。2）多目RGB-Depth相机的全局注册，通过相机的两两注册和全局优化，建立不同RGB-Depth相机不同坐标系上各点云模型间的对应关系。3）实时表演捕捉。使用GPU加速的泊松表面重建算法，实时处理多目RGB-Depth相机捕捉的稠密点云，完成动态三维网格模型序列的实时重建。本系统无需标记点，使用低成本的RGB-Depth相机，该系统即可实时地捕捉并重建出表演者的动态三维信息，建立相应的动态三维几何模型。

主权项

1.表演者的无标记点三维实时捕捉系统，无需标记点，使用低成本的RGB-Depth相机，实时地捕捉并重建出表演者的动态三维信息，建立相应的动态三维几何模型，其特征在于，包括第一步：房间式采集硬件系统的建立；第二步：多目RGB-Depth相机的全局注册；第三步：实时表演捕捉；第一步：房间式采集硬件系统的建立，该过程包括： 1.1 通过分析相机的参数，提出一种多目RGB-Depth相机的配置模型，多目相机有效覆盖表演者；建立多目RGB-Depth相机的配置模型是一种典型的集合覆盖问题，其数学模型描述为：在获取误差Error小于给定阈值d的条件下，有效配置N个RGB-Depth相机，使得它们视角FoV范围的并集，能有效覆盖表征人体活动范围Space的圆柱体C，求相机的最少数目N和配置方法，可形式化表示为：，表演者的空间范围可视作半径为0.5米、高度为2.4米的圆柱体C；1.2 建立房间式的封闭采集间，采集间的设计要与多目RGB-Depth相机配置相匹配；第二步：多目RGB-Depth相机的全局注册，多目RGB-Depth获取点云数据的全局注册包括两个子步骤：局部点云数据的两两注册、全部点云数据的全局优化；2.1局部点云数据的两两注册假定已给两个局部点云数据P={p_i}、Q={q_i}，P、Q给出两个点集的空间变换f，使他们能进行空间匹配， f为一未知函数，而且两点集中的点数不一定相同，解决这个问题使用的方法是迭代最近点法（Iterative Closest Points，ICP），ICP的求解方法建立过程如下：三维空间中两个3D点p_i=(x_i,y_i,z_i)、q_j=(x_j,y_j,z_j)，它们的欧式距离表示为：三维点云匹配问题的目的是找到P和Q变化的矩阵R和T，对于q_i=Rp_i+T，i=1,…N，N为相互匹配顶点的总数，利用最小二乘法求解最优解使：最小时的R和T；2.2 全部点云数据的全局优化通过点云数据的两两注册，相邻的相机两两注册在一起，能够建立稀疏特征点间的匹配关系，由于多个相机同时对一个个体进行捕捉，多个相机要注册在一起，两两注册为多个相机的注册提供了合理的初始值，但仍需全局优化过程，更好地完成多个相机的注册，采用一种特征匹配方法，通过全部点云数据的全局优化，完成多个相机的注册，该方法使用特征元组之间的超对称三阶张量表示几何约束关系，实现了特征集合之间准确的匹配，将特征元组之间的高阶约束关系表示为三阶超对称张量的形式，利用三阶张量的超对称性，使用高效的高阶的幂迭代公式和特征元组采样策略，完成全部点云数据的全局优化；基于三阶超对称特征匹配的结果，求解出全部点云数据的全局对应关系，进而，完成多目RGB-Depth相机的全局注册；第三步：实时表演捕捉，使用GPU加速的泊松表面重建算法，实时处理多目RGB-Depth相机的稠密点云，完成动态三维网格模型序列的重建。