[发明专利]用于呈现用于向用户回放的音频信号的装置和方法

说明书

一种用于呈现用于向用户回放的音频信号的装置(10)，其中装置(10)配置为使用光学传感器(12)确定关于用户的头部的取向的信息；其中装置(10)配置为使用以相对于光学传感器(12)的预定位置关系布置的取向传感器(14)确定关于光学传感器(12)的取向的信息；其中装置(10)配置为在确定关于头部的取向的信息时考虑关于光学传感器(12)的取向的信息；其中装置(10)配置为根据关于用户的头部的取向的信息执行音频信号的空间呈现。

技术领域

本发明涉及一种用于呈现音频信号的装置，更具体地，涉及一种配置为执行声学通信的音频信号的空间呈现或声场呈现的装置。

背景技术

用于空间音频数据的双耳呈现的空间音频处理已广泛用于视频游戏和虚拟现实(VR)中的头戴式耳机，但仍将转向其他应用，诸如音频通信，例如语音呼叫、会议和标准视频消费(即，非360度)。虽然存在使用空间音频数据的静态双耳呈现的一些应用，但用户接受似乎是有限的。假设其背后的原因是为了使空间音频具备说服力，必须在空间处理期间积极应用用户角度的实时位置信息。为了成功地骗过大脑，音频必须以低延迟响应甚至最小的头部位置调整。

在电话呼叫中，远程参与者/用户可被呈现为单个对象(每个参与者/用户)，每个对象具有唯一的三维位置(例如，在作为收听者的参与者/用户前面水平展开)，以便给出真实的相同房间的感觉。

使用头戴式耳机进行的VR体验使用头部跟踪数据(例如，俯仰角、偏航角、滚转角或四元数形式)来实现这一点，所述头部跟踪数据从用户的头盔式显示器(HMD)内的惯性测量单元(IMU)获得，包括来自例如陀螺仪和加速度计的传感器的数据。如果通常已经在消费者头戴式耳机中找到这样的传感器，那么诸如电话呼叫的日常应用也可以受益于头部跟踪的空间处理，但是目前，已知的内置这些传感器的独立头戴式耳机非常少，并且使开发者能够容易地访问这些数据的耳机就更少。

例如，使用摄像机的视频传送来提取头部跟踪数据，并且使用该数据来进行音频信号的双声道呈现已经在台式计算机上结合Microsoft^TM Kinect^TM摄像机来完成(参见，Kronlacher,M.(2013)。Ambisonics plug-in suite for production and performanceusage。例如，从http://lac.linuxaudio.org/2013/papers/51.pdf处检索到)。另外，也已知从普通摄像头的视频传送中提取头部跟踪数据(参见，例如，Lambers,2017,https://github.com/marlam/webcam-head-tracker，以及Face TrackNoir,2010,https://git.marlam.de/gitweb/？p＝webcam-head-tracker.git)，但是他们没有提出将其用于音频信号的空间呈现。此外，US 2009/0219224 A1公开了一种用于在多媒体应用中呈现虚拟环境的系统，其涉及具有移动设备和自适应可视音频/视频场景的头部跟踪。

然而，在考虑了上述已知技术的情形下，还没有解决某些问题，例如如何补偿传感器自身的运动，诸如在动态移动场景中的使用(例如，用户到处走动或在移动车辆中走动)。

发明内容

因此，本发明的目的是提供一种用于呈现用于向用户回放的音频信号的准确和低等待时间调整的概念，并在多种场景中健壮地这样做。

通过本申请的根据权利要求1所述的用于呈现用于向用户回放的音频信号的装置、根据权利要求23所述的用于呈现用于向用户回放的音频信号的方法以及根据权利要求24所述的计算机程序的主题来实现该目的。

根据本发明，所述装置包括用于确定用户的头部位置的光学传感器和取向传感器。因此，所述装置(例如设备)可以通过参考光学传感器和取向传感器之间的位置关系来确定用户头部的位置，因此，可以精确地确定用户头部的位置。此外，使用准确确定的用户头部位置可以实现对空间呈现的低延迟调整，并改善用户体验。