[发明专利]通过3D音频定位来生成虚拟或增强现实呈现的方法和装置

说明书

描述了一种用于生成3D呈现的装置，其中3D呈现(其可以包括3D电影、VR(虚拟现实)和/或AR(增强现实)内容)来自包括原始音频部分和视觉部分的原始3D内容，形成多个场景，每个场景与具有相应音频特性的相应一个环境或多个环境相关联。至少一些场景中的原始音频部分被该装置修改以符合或补偿相应场景的声学特性和/或在其中进行呈现的位置的环境的声学特性。

发明背景

A.技术领域

本公开内容涉及虚拟现实或增强现实呈现的产生和配置。更具体地，本发明涉及一种用于通过使用与作为活动观看场景的一部分或在视场之外的至少一些视觉角色和其他感兴趣对象相关联的3D空间信息从而在VR/AR呈现的3D空间中定位相关联的感兴趣的音频角色/对象(下文中称为“音频对象”或“感兴趣的音频对象”)来增强虚拟现实和/或增强现实呈现(下文中称为“VR/AR呈现”)的方法和装置。此外，该装置和方法还提供使用用于VR呈现的视觉环境的特性和用于AR呈现的实际环境的特性来增强音频对象。

B.背景技术

在过去，3D电影或其他类似的情节音频/视觉内容被制作用于模拟电影发行或其他相对较低保真度的模拟或数字传输、存储、投影和/或显示3D格式，例如立体3D。3D编码格式、呈现技术和数字信号处理的进步已经产生以更高质量的3D格式制作的3D电影或情节视觉内容，例如立体HD 1920×1080p、3D蓝光盘等。

“虚拟现实”是用于模拟沉浸在部分或全部计算机生成和/或实际动作三维世界中的各种类型的内容的术语。这样的内容可以包括例如各种视频游戏和动画电影内容。这些技术的变体有时被称为“增强现实”。在增强现实呈现中，通过添加一个或多个虚拟对象或叠加来“增强”用户的当前环境的实际3D呈现。增强现实内容可以像关于在用户周围可见的对象或人的文本“注意”信息一样简单，或者像将用户的周围环境的整个外观转换成与用户的真实环境相对应的虚拟环境那样复杂。编码格式、呈现技术、运动跟踪、位置跟踪、眼睛跟踪、便携式加速度计和陀螺仪输出/输入以及相关信号处理的进步已经达到可以实时向用户显示虚拟和增强现实呈现的程度。

虚拟现实(VR)和增强现实(AR)已经在各种类型的沉浸式视频立体呈现技术中实现，包括例如立体VR头戴式设备。如上所述，3D头戴式设备和其他3D呈现设备将用户沉浸在3D场景中。头戴式设备中的镜头使得用户能够专注于安装在头戴式设备中的、距用户眼睛几英寸处的轻巧的分体式显示屏。在一些头戴式设备类型中，分体式显示器的不同侧显示视频内容的左右立体视图，而用户的外围视图在中心视场下方被阻挡或部分无遮挡。在另一种类型的头戴式设备中，使用两个单独的显示器分别向用户的左眼和右眼示出不同的图像。在另一种类型的头戴式设备中，显示器的视场包括每只眼睛的整个视场，包括外围视图。在另一种类型的头戴式设备中，为了实现AR或VR，使用可控的小激光器、镜子或镜头将图像投影在用户的视网膜上。无论哪种方式，头戴式设备使得用户能够以使用户感觉他沉浸在真实场景中的方式来体验所显示的VR或AR内容。此外，在AR内容的情况下，用户可以体验增强的内容，就好像它是增强的真实场景的一部分或放置在增强的真实场景中一样。VR或AR内容也可以作为360°图片呈现给观看者，360°图片可以在标准屏幕上呈现，其中图像自动地或在观看者的控制下向左或向右和/或向上和向下移动。

沉浸式AR/VR效果可以通过检测用户头部的运动的头戴式设备(或其他地方)中的运动传感器来提供或增强，并且相应地调节视频显示器。通过将头部转向侧面，用户可以看到侧面的VR或AR场景；通过向上或向下转动头部，用户可以在VR或AR场景中向上或向下查看。头戴式设备(或其他设备)还可以包括跟踪传感器，跟踪传感器检测用户的头部和/或身体的位置并且相应地调节视频显示器。通过倾斜或转动，用户可以从不同的视角看到VR或AR场景。这种对头部运动、头部位置和身体位置的响应性极大地增强了头戴式设备可实现的沉浸式效果。因此，可以向用户提供放置在VR场景内或“沉浸”在VR场景中的印象。如本文中使用的，“沉浸式”通常包括VR和AR呈现。