[发明专利]一种基于单目深度摄像头的着装下三维人体模型重建方法

权利要求书

1.一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，包括如下步骤：

步骤1，利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型；

步骤2，基于SCAPE模型生成S_SCAPE人体统计形状模型，并将其作为参数化模板模型；

步骤3，基于随机森林回归自动识别出多个自定义的关键特征点，所述自定义的关键特征点是指在着装人体模型的皮肤与衣服的分界处定义两个分界点，在着装人体模型的手腕处定义一个手腕点，通过识别自定义的关键特征点，判断出着装人体模型的皮肤区域，并对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，达到去除衣服对人体模型的影响；

步骤4，使得扫描穿衣人体模型与参数化模板模型进行初始化拟合，有约束非线性优化初始化拟合，保证参数化模板模型与扫描的穿衣人体模型的初步对齐；

步骤5，将S_SCAPE人体统计形状模型作为参数化模板模型，通过L_BFGS算法优化数据项、网格平滑项和特征点项，实现着装下三维人体模型的重建；其中L_BFGS最优化的算法使得参数化模板模型的扫描的穿衣人体模型的数据项、网格平滑项和特征点项的非线性组合最小化，在进行函数最小化的同时，参数化模板模型会随着数据项、网格平滑项和特征点的优化会发生非刚性形变，因此，通过参数化模板模型的非刚性形变拟合扫描的着装人体模型。

2.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤1利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入模型，具体包括如下步骤：

首先使用Kinect深度相机扫描人体，被扫描人体以标准A-pose姿势站立在深度相机前，Kinect深度摄像头位于人体正前方预定距离处，然后通过拉动转盘使其旋转360度，得到扫描后的完整人体模型，获得多个不同性别、不同体型的着装的三维人体模型。

3.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤2基于SCAPE模型生成S_SCAPE人体统计形状模型：

2.1)SCAPE模型是一系列网格中的三角形变换的总和，基于SCAPE模型分别计算姿势变形参数和体型变形参数；

2.2)基于SCAPE模型生成S_SCAPE人体统计模型，SCAPE模型使用参数向量表示每个体型的PCA模型，产生一个新模型，即S-SCAPE人体统计形状模型，首先要将基本的骨架拟合到平均SCAPE模型上，即训练集平均人体体型然后使用线性混合蒙皮权重将表面附着到骨骼上，能够变形为任意姿势且体型不变的人体模型；

2.3)将线性混合蒙皮应用于个性化网格以获得最终的网格为了重建出骨骼姿态为X，体型为的模型，首先使用来计算个性化网格用矩阵表示法表示:其中为分块矩阵，包含了每个顶点的变换,对应训练集的平均人体体型，为体型为的模型经过PCA计算得到的矩阵。

4.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤3去除着装人体模型的衣服点影响具体包括：

3.1)判断出着装人体模型的皮肤区域；

3.2)对裸露的皮肤区域向衣服的边缘区域进行滤波处理，达到去除衣服点对人体模型的影响。

5.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤4中，有约束非线性的初始化拟合具体包括：

4.1)将模板模型与人体模型进行初拟合，利用KNN方法寻找变形模板与扫描人体模型之间的所有顶点之间的最近邻点进行初对齐，使得变形后的模板逼近扫描人体模型；

4.2)人体姿势先验的计算，高斯分布N(μθΣθ)使扫描模型接近模板模型，再使用基于梯度下降最小化方法，使得姿势和模板模型进行拟合；

4.3)人体体型先验的计算，通过参数化模板模型提供了对角协方差矩阵，该对角协方差矩阵表示身体形状的高斯先验，通过马氏距离约束三维人体模型的体型。

6.根据权利要求1所述的一种基于单目深度摄像头着装下三维人体模型重建方法，其特征在于，所述步骤5非刚性形变的模板模型与扫描模型的拟合，参数化模板模型会随着数据项、网格平滑项和特征点的优化会发生非刚性形变，因此，通过参数化模板模型的非刚性形变拟合扫描的着装人体模型，具体包括：

5.1)参数化模板模型与人体模型的对齐，采用非刚性模板拟合，进一步对齐模板模型与扫描模型，保证变形之后的模板模型M的每个顶点与扫描人体模型S对应点对齐，使得模板模型靠近扫描人体模型；

5.2)人体网格平滑形变，防止变形模板M的相邻顶点与扫描人体模型S中不同的顶点匹配，增加平滑项对扫描模型网格进行光滑表面变形，并保证通过仿射变换得到的光滑项能够连接模板模型与扫描人体模型相似的顶点；

5.3)人体模型特征点的拟合，在参数化模板模型上使用特征点项识别对应于扫描人体模型上的已知的一组特征点；

5.4)将上述三项，即数据项、网格平滑项与特征点项组合成非线性组合，采用L_BFGS算法对非线性组合进行优化，从而实现模板模型的非刚性拟合。