[发明专利]动作图像生成方法、模型构建方法、设备及存储介质在审
申请号: | 202111524469.1 | 申请日: | 2021-12-14 |
公开(公告)号: | CN114299225A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 吴小燕;何山;殷兵;胡金水;潘清华 | 申请(专利权)人: | 科大讯飞股份有限公司 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06V20/40;G06V40/20;G06T7/40 |
代理公司: | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人: | 何姣 |
地址: | 230000 安徽省*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 动作 图像 生成 方法 模型 构建 设备 存储 介质 | ||
本申请提供一种动作图像生成方法、模型构建方法、计算机设备及存储介质,其中,该模型构建方法包括:获取目标人物的第一图像集和第二图像集,第一图像集和第二图像集包括关于目标人物动作的序列图像;根据第一图像集的序列图像进行三维重建,得到多个第一3D模型;获取目标人物的纹理图,根据纹理图对所述多个第一3D模型进行贴图,得到多个纹理贴图;对多个第一3D模型进行投影,得到多个2D投影图像;根据第二图像集的序列图像、2D投影图像和纹理贴图构建动作生成模型。该动作生成模型可以生成更为真实的动作图像,即动作图像包括更多细节,由此可以提高用户的体验度。
技术领域
本申请涉及图像处理技术领域,尤其涉及一种动作图像生成方法、模型构建方法、计算机设备及存储介质。
背景技术
目前动作生成方案一般采用基于人体关键点或者姿态估计方式实现人体动作生成,但是这种方案很难生成具有高清细节的动作图像,比如包含的人脸信息较少。此外,不同人体的形态不同,比如不同高矮和胖瘦,基于人体关键点或者姿态估计同样无法体现这些细节。
发明内容
本申请提供了一种动作生成模型的构建方法、动作图像生成方法、设备及存储介质,可以生成包括更多细节的动作图像。
第一方面,本申请提供了一种动作生成模型的构建方法,所述方法包括:
获取目标人物的训练集,所述训练集包括第一图像集和第二图像集,所述第一图像集和第二图像集包括关于所述目标人物动作的序列图像;
根据所述第一图像集的序列图像进行三维重建,得到多个第一3D模型;
获取所述目标人物的纹理图,根据所述纹理图对所述多个第一3D模型进行贴图,得到多个纹理贴图;
对所述多个第一3D模型进行投影,得到多个2D投影图像;
根据所述第二图像集的序列图像、所述2D投影图像和所述纹理贴图,构建动作生成模型。
第二方面,本申请还提供了一种动作图像生成方法,所述方法包括:
获取用户的多个图像,根据所述多个图像确定所述用户的纹理图;
根据所述多个图像进行三维重建,得到所述用户的3D模型;
根据所述纹理图对所述3D模型进行贴图,得到纹理贴图;
根据所述多个图像和所述纹理贴图,生成所述用户的动作图像。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括:
存储器和处理器;
其中,所述存储器与所述处理器连接,用于存储程序;
所述处理器用于通过运行所述存储器中存储的程序,实现如本申请实施例提供的任一项所述的动作生成模型的构建方法的步骤,或者实现如本申请实施例提供的任一项所述的动作图像生成方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如本申请实施例提供的任一项所述的动作生成模型的构建方法的步骤,或者实现如本申请实施例提供的任一项所述的动作图像生成方法的步骤。
本申请公开的动作生成模型的构建方法、动作图像生成方法、设备及存储介质,通过改变网络模型的输入条件,可以生成更为真实的动作图像,即生成的动作图像包括更多细节,比如包含更多的人脸信息、人体形态以及衣着等细节,进而可以提高用户的体验度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司,未经科大讯飞股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111524469.1/2.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序