[发明专利]一种基于OpenGL和深度学习的三维人体建模方法

权利要求书

1.一种基于OpenGL和深度学习的三维人体建模方法，其特征在于，包括如下步骤：

步骤1，使用深度学习模型Mask-RCNN分割二维图像中的人体图像；

步骤11，获取人体图像，输入到Mask-RCNN模型中；

步骤12，使用FPN卷积神经网络提取图像的特征，获得图像多层特征；并使用FPN卷积神经网络对图像多层特征进行融合，构建区域建议网络RPN需要的图像多层特征和Mask所需要的图像多层特征；

步骤13，将图像多层特征送入区域建议网络RPN中，区域建议网络RPN为每个建议区域ROI生成待检测框；区域建议网络RPN判断锚框是前景还是背景，过滤掉一部分建议区域ROI，并使用公式(1)对处于前景的锚框进行第一次坐标修正；

其中，L_loc(t^u,v)表示预测平移缩放参数和真实平移缩放参数的差别，t_x，t_y表示锚框在x和y方向的平移，t_w，t_h表示宽度和高度的放大倍数，smooth_L1表示损失函数，表示预测平移缩放参数，v_i表示真实平移缩放参数，u＝1表示前景，u＝0表示背景；

步骤14，对剩余的建议区域ROI执行ROIAlign操作；选取对应的特征，并将建议区域ROI对应的特征的维度转化成某个定值；

步骤15，使用分类器对所有的建议区域ROI进行分类，并用训练好的边框修正对前景的建议区域ROI的锚框进行修正，对边框修正和分类器的训练公式描述如下：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v) (2)

其中，L(p,u,t^u,v)表示损失和；L_cls(p,u)表示评估分类损失函数；由真实分类u对应的概率决定；[u≥1]表示只对前景进行边框修正；L_loc(t^u,v)表示评估检测框定位偏差的损失函数；t^u表示预测平移缩放参数；v表示真实平移缩放参数；

步骤16，对建议区域ROI的锚框进行微调和Mask生成，得到最终的人体图像；

步骤2，使用人体图像和OpenGL生成标准三维人体图像

步骤21，根据最终的人体图像获取真实人体各部位比例参数；

步骤22，根据真实人体各部位比例参数修整三维标准人体模型；

步骤23，对修改后的三维标准人体模型进行局部纹理贴图；

根据法向量判断正反面，确定中间值，大于等于这个中间值我们判断其为人体模型正面，小于这个中间值判断其为人体模型背面；

将进行图像处理后的真实人体正面图和背面图整合到一张图中，左右、上下端点要求与图像边界重合，左半部分为人体正面图，右半部分为人体背面图；

根据上下左右端点在正面图中的位置坐标，将其对应到三维人体模型各位置，进行纹理贴图。