[发明专利]一种生成姿态流图像的方法

摘要

本发明公开了一种生成姿态流图像的方法，属于计算机视觉领域。该方法包括：(1)通过旋转三维人体模型和移动顶点，生成多视点多姿态的三维模型，再通过投影变换得到二维图像；(2)定义姿态流图像，生成姿态流；(3)用聚类算法将统计得到的姿态流向量进行聚类标注，得到标记映射表和标记图像；(4)将任意姿态图像和对应的标记图像作为训练数据，训练卷积神经网络；(5)使用标记映射表对卷积神经网络输出的标记图像进行解码，得到每个像素点上的姿态流向量，生成姿态流图像。本发明能够基于卷积神经网络生成姿态流图像，生成的姿态流图像可以应用于生成虚拟视点图像、生成虚拟姿态的人体图像、三维重建等。

主权项

1.一种生成姿态流图像的方法，其特征在于，包括如下步骤：S1，将待处理的三维人体模型通过骨架驱动进行姿态变换，生成多姿态的人体模型，并设定多个虚拟视点，分别渲染得到不同姿态和不同视点下的图片，其中，指定某一姿态为基准姿态Pose0，其他姿态为任意姿态PoseX；再通过投影变换得到多视点多姿态的二维图像；S2，定义姿态流图像为flow(PoseX,[u,v])＝xyz2uv(uv2xyz(Pose0,[u,v]))‑[u,v]其中uv2xyz(Pose0,[u,v])为逆投影函数，得到在姿态Pose0状态下图像中[u,v]像素点所对应的模型上的三维模型点，记为P，则xyz2uv(P)为投影函数，得到模型点P在姿态PoseX状态下投影在图像上的图像坐标；flow(PoseX,[u,v])描述的是三维模型上的一个点通过姿态变换规则，在不同姿态图像中图像坐标的改变量；而对于不同的姿态图像，相同图像坐标(u,v)对应的空间中的点，其空间坐标的改变是一个三维光流向量，这就是图像坐标(u,v)上像素点对应的姿态流向量；S3，统计所有的姿态流向量，用聚类算法将统计得到的姿态流向量进行聚类标注，得到标记映射表和标记图像；S4，将人工生成的随机姿态图像和对应的标记图像作为训练数据，训练神经网络，其中，姿态图像作为神经网络的输入，对应的标记图像作为真值标记；通过反复训练得到具有精确预测标记图像预测能力的深度神经网络；S5，使用所述标记映射表对卷积神经网络输出的标记图像进行解码，得到每个像素点上的姿态流向量，生成姿态流图像。