[发明专利]一种生成姿态流图像的方法

说明书

本发明公开了一种生成姿态流图像的方法，属于计算机视觉领域。该方法包括：(1)通过旋转三维人体模型和移动顶点，生成多视点多姿态的三维模型，再通过投影变换得到二维图像；(2)定义姿态流图像，生成姿态流；(3)用聚类算法将统计得到的姿态流向量进行聚类标注，得到标记映射表和标记图像；(4)将任意姿态图像和对应的标记图像作为训练数据，训练卷积神经网络；(5)使用标记映射表对卷积神经网络输出的标记图像进行解码，得到每个像素点上的姿态流向量，生成姿态流图像。本发明能够基于卷积神经网络生成姿态流图像，生成的姿态流图像可以应用于生成虚拟视点图像、生成虚拟姿态的人体图像、三维重建等。

技术领域

本发明涉及计算机图形学领域，特别涉及一种基于深度神经网络的由任意姿态生成指定姿态的姿态流的方法。

背景技术

姿态流属于一种特殊的光流，针对以人为主体的图像而言，姿态流表示密集的像素位移，由基础姿态(模板姿态)指向特定姿态。将每个像素所处位置的姿态流赋值给当前像素，即构成姿态流图像。姿态流图像是一种表示人体姿态的载体，与其他姿态表示方法如骨架表示法、关节旋转角表示法不同，姿态流图像显式地描述出人体姿态信息，具有密集、准确、拓扑结构稳定的特征，因此在图形学领域具有广泛的应用价值，如应用于生成虚拟视点图像、虚拟姿态的人体图像、三维重建等。

近年来，虚拟视点生成技术得到了发展。给定一张输入图片，虚拟视点生成技术可以得到同一物体或同一场景在任意视点下的图像。虚拟视点生成技术的解决方法主要有两类：一种是基于几何结构的生成方法，另一种是基于学习的生成方法。基于几何结构的生成方法首先预测物体的3D结构，然后通过对输入图像中的像素进行变换进而得到结果。TaoChen,Zhe Zhu等人(3-sweep:Extracting editable objects from a single photo[J].ACM Transactions on Graphics(TOG),2013,32(6):195)提出了由单张图片提取物体的三维结构的方法。对提取得到的三维模型进行旋转便可以得到虚拟视点下的图像。机器学习的生成方法认为新视点下的图像合成是一个学习问题，该方法在训练阶段得到物体类别的参数模型，在测试阶段结合输入图片得到新视点下的图像。Tinghui Zhou,ShubhamTulsiani等人(View synthesis by appearance flow[C].European Conference onComputer Vision.Springer International Publishing,2016:286-301)使用卷积神经网络预测appearance flow，即表征输入图像中的哪些像素可以用来重建目标视点下的图像的二维坐标向量。Eunbyung Park,Jimei Yang等人(Transformation-grounded imagegeneration network for novel 3d view synthesis[J].arXiv preprint arXiv:1703.02921,2017)使用生成网络实现单张图片的虚拟视点生成，该方法首先推断输入图像和新视点图像的共同可见区域，然后将非共同可见区域作为图像填充问题解决。MaximTatarchenko,Alexey Dosovitskiy等人(Multi-view 3d models from single imageswith a convolutional network[C].European Conference on ComputerVision.Springer International Publishing,2016:322-337)提出的卷积神经网络可以由物体的单张图像得到任意视点下物体的RGB图和深度图，融合多个视点下的图像便可以得到物体的完整点云。除了通过学习完全重新生成新视点下的图像，图像的虚拟视点生成问题还可以通过从输入图像复制像素解决。基于机器学习的方法相对基于几何结构的生成方法已经凸显出巨大优势，但基于机器学习的方法仍难以处理具有复杂姿态的人体图片。这是由于人体图片的虚拟视点生成将同时涉及“视点变换”和“姿态变换”，神经网络难以同时处理这两种问题。姿态流图像的引入巧妙解决了姿态变换的问题，将上述两种问题分离，使得复杂姿态下人体图片的虚拟视点生成成为可能。