[发明专利]基于多尺度变分图卷积的三维可变形物补全方法在审
申请号: | 201910930823.7 | 申请日: | 2019-09-29 |
公开(公告)号: | CN110689618A | 公开(公告)日: | 2020-01-14 |
发明(设计)人: | 李坤;张劲松;袁存款;杨敬钰 | 申请(专利权)人: | 天津大学 |
主分类号: | G06T17/20 | 分类号: | G06T17/20 |
代理公司: | 12201 天津市北洋有限责任专利代理事务所 | 代理人: | 刘国威 |
地址: | 300072*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 可变形物 网格 解码器 多尺度 三维 计算机视觉领域 编解码器 变量空间 迭代调整 模型构建 人脸模型 人脸 向量 残缺 输出 应用 | ||
1.一种基于多尺度变分图卷积的三维可变形物补全方法,其特征是,步骤如下:
模型构建:
首先将3D的可变形物网格视为点和边的集合F=(V,N),其中|V|=n代表3D欧几里得空间中的n个顶点的集合,邻接矩阵N是每个顶点与相邻点边的集合,构建模型分为两个部分,编码器与解码器,编码器将3D网格F编码到隐变量空间中的向量z=E(F),解码器将隐变量空间中的向量解码为3D网格F=D(z),使用动态滤波器卷积层来处理网格数据,如公式(1)所示:
其中Ni代表顶点i邻域中顶点的集合,用来衡量顶点之间的关系,b,Wm,tm,cm为需要学习的参数,M为固定的参数;
在模型中,使用l1范数来表示预测网格与真值的重建误差,完整的损失函数如公式(2)所示:
loss=‖D(E(F))-F‖1+ωDKL(q(z|F)||p(z)) (2)
其中DKL为KL散度,ω为衡量KL散度与l1损失函数之间的权重,q(z|F)为三维网格F生成隐变量z的概率分布,p(z)为隐变量z的真实分布,即正态分布;
可变形物补全:
利用训练得到的多尺度网格变分编解码器中的解码器部分,通过迭代调整隐变量空间中的向量使得解码器输出的可变形物网格与残缺的可变形物网格中的对应点尽可能接近,以此实现可变形物补全。
2.如权利要求1所述的基于多尺度变分图卷积的三维可变形物补全方法,其特征是,
1)寻找残缺可变形物网格与解码器输出的可变形物网格之间的变换关系
首先将两个网格中的点分别求均值进行归一化,求得两矩阵之间的齐次变换,进行奇异值分解得到旋转平移矩阵,从而将残缺的可变形物网格与解码器生成的可变形物网格对齐;
2)找到两个可变形物网格中的对应点
分为两种情况:若残缺可变形物网格中的点数少于解码器生成的可变形物网格点数,需要通过最近邻算法找到残缺可变形物网格中每个点在解码器生成的可变形物网格中的对应点;若残缺可变形物网格中的点数多于解码器生成的可变形物网格中的点数,就需要循环近邻算法,即首先通过最近邻算法求得残缺可变形物网格与解码器生成的可变形物网格中的对应点,然后再进行一次逆向求解过程,即通过最近邻算法寻找生成的可变形物网格中的已知对应点在原残缺可变形物网格中的对应点,使得对应点之间形成一一对应的关系,从而方便计算点与点之间的距离;
3)迭代调整隐变量空间中的向量
将残缺可变形物网格与解码器生成的可变形物网格中对应点之间的距离作为损失函数,如公式(3)所示:
其中,n为通过最近邻算法找到的对应点的个数,xi、yi分别为残缺可变形物网格与解码器生成可变形物网格中的第i个对应点;
通过减小损失函数来调整隐变量空间中的向量的数值,使生成的可变形物网格中的对应点尽可能逼近残缺的可变形物网格,不断迭代,从而完成补全的任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910930823.7/1.html,转载请声明来源钻瓜专利网。