[发明专利]对动态三维模型的视图进行融合、纹理化和绘制有效
申请号: | 201880085491.0 | 申请日: | 2018-12-28 |
公开(公告)号: | CN111656407B | 公开(公告)日: | 2023-10-03 |
发明(设计)人: | 杜若飞;B·F·库特勒;张文宇 | 申请(专利权)人: | 微软技术许可有限责任公司 |
主分类号: | G06T15/04 | 分类号: | G06T15/04;G06T17/00 |
代理公司: | 北京世辉律师事务所 16093 | 代理人: | 王俊 |
地址: | 美国华*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 动态 三维 模型 视图 进行 融合 纹理 绘制 | ||
当融合深度图来生成动态三维(“3D”)模型、将纹理细节应用于动态3D模型或绘制经纹理化的动态3D模型的视图时,本文所述的各种方法可以改进结果的质量。例如,当融合深度图来生成动态3D模型时,融合组件还可以并入动态3D模型各点的固有颜色值,从而有可能使得尤其是对于深度值不可靠或不可用的区域,动态3D模型更加准确。作为另一示例,当应用纹理细节时,绘制组件可以将平滑的视点相关的纹理权重应用于来自不同纹理图的纹理值,这可以减少模糊并避免引入明显的接缝。作为另一示例,绘制组件可以将元数据指示的特殊效果应用于所绘制的视图,从而允许内容提供方断言对呈现的艺术控制。
背景技术
虚拟现实(“VR”)技术在合成的计算机生成的环境中模拟用户的物理存在。通常,VR设备包括具有显示屏和耳机的VR头戴式耳机,用以为计算机生成的环境呈现逼真的图像和声音。利用VR技术,用户可以环顾计算机生成的环境,并且在许多情况下,可以浏览环境的特征并与之交互。在一些VR系统中,用户可以与环境中虚拟存在的一个或多个其他远程用户进行通信。类似地,增强现实(“AR”)技术在相机输入和/或音频输入上叠加了人工的、计算生成的内容,从而将用户在其真实环境中看到和听到的内容与人工生成的内容相混合。
尽管一些VR系统从头开始生成合成环境,但是许多VR系统和AR系统使用捕获物理环境的细节的设备来创建实际物理环境的三维(“3D”)模型。例如,对象在物理环境中的位置使用深度相机从物理环境周围的不同视点(视角)来估计。在针对帧的“深度图”(例如,与时间戳或时间片相关联)中,深度相机捕获深度值,深度值指示对象距相应的深度相机有多远。根据针对帧的深度图中的这些深度值,VR/AR系统创建物理环境和在其中的对象的3D模型。3D模型可以将对象的表面表示为3D空间中的顶点,这些顶点被连接以形成大约覆盖对象表面的三角形。VR/AR系统可以逐帧跟踪3D模型随时间变化的情况,从而生成动态3D模型,动态3D模型提供对象的可变形的体积表示。动态3D模型(将时间维度添加到3D空间重建中)可以为各种应用中的4D重建技术奠定基础(诸如,用于商务会议或个人通信的3D远程呈现、直播音乐会或其他活动的广播以及远程教育)。通常,VR/AR系统还使用视频相机从不同的视点来记录物理环境中对象表面的纹理细节(例如,颜色值)。在产生(“绘制”)3D模型的视图以进行输出时,这样的纹理细节可以被应用(“纹理化”或“缝合”)到动态3D模型的表面。
近年来,VR技术和AR技术变得越来越普遍。VR技术和AR技术的商品化,再加上廉价的深度相机技术的可用性,已增加了人们对生成具有时空性能捕获的物理环境的准确、动态3D模型的兴趣。特别地,一些最新的系统能够将多个深度图实时融合到动态3D模型中,动态3D模型提供在物理环境中的对象的可变形的体积表示。尽管这样的系统可以在许多场景中产生高保真动态3D模型,但是当深度值不可靠或不可用时,所产生的动态3D模型可能不准确或不完整。同样,在一些情况下,将纹理细节从不同视点缝合到动态3D模型上的先前方法可能产生模糊的细节或明显的接缝,尤其是对于诸如面部的感兴趣区域而言,这可能会降低整体质量。最后,就艺术效果如何可以被应用于经绘制的视图而言,尤其是对于实时应用,绘制动态3D模型的视图的先前方法受到限制。
发明内容
提供本发明内容以简化形式来介绍一些概念,这些概念将在下面的具体实施方式中进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于微软技术许可有限责任公司,未经微软技术许可有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201880085491.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:可实现目标释放曲线的剂型及其设计和制备方法
- 下一篇:超临界二氧化碳发电系统