[发明专利]一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法

说明书

本发明公开了一个动态跟随听者听觉视角的虚拟现实音频双耳再现系统与方法，系统包括负责姿态解析和生成VR音频数据的上位机模块，姿态角传感器模块，负责姿态信息提取的核心处理器模块，辅助传输模块以及双耳耳机。在该系统中应用本发明公开的动态跟随听者听觉视角的虚拟现实音频双耳再现方法，该方法解析头部姿态数据得到声源相对于听者实时主视角的方位信息，基于HRTF双耳音频对音频数据流添加方位信息。本系统在完成虚拟听觉环境创造的同时，实时地根据听者头部姿态调整声源与听者主视角的相对方位，保证声源的绝对空间极坐标方位不变，满足听者在虚拟听觉空间全方位听取声源信息的需求。

技术领域

本发明涉及音频的数字处理技术领域，具体涉及一个动态跟随听觉视角的虚拟现实(Virtual reality，VR)音频双耳再现系统与方法。

背景技术

近年来，VR技术在市场上应用越来越广泛，但是VR音频相关的技术应用以及系统却极为少见。目前，部分影院能够基于扬声器矩阵进行高度的声场还原，但是这种大型麦克风矩阵并不容易在普通用户之间进行推广，同时常用的耳机系统中关于声场的还原大都停留在立体声和环绕声水平，远达不到VR音频实时根据听者的头部姿态信息进行声场信息实时调整的要求。

基于耳机进行VR音频的重放目前主要是使用基于头相关传输函数(head-relatedtransfer function，HRTF)的双耳声学技术进行音频的三维空间信息的重建。该技术是对人耳的空间声源的定位过程进行重现从而影响人脑对声源方位的判断，HRTF函数就是实际测量得到声音从声源传到到人耳的整个过程的系统函数，经过HRTF处理的音频数据通过耳机重放可以反映对应HRTF的声源方向。目前对于HRTF的理论研究已经十分丰富，HRTF的插值、建模和个性化问题都已经得到了充分的研究，HRTF也被应用到电子游戏等平台进行静态声源方位的再现。然而，由于HRTF是针对人头进行测量的，其包含的空间的方位信息的都是以人头为空间坐标原点的，如果单纯使用HRTF进行空间方位再现，对于听者而言，如果人头发生偏转，针对人头添加的声源的方位信息也会随之偏转，从而导致客观上的声源本身方位发生变化，这显然不符合客观物理世界的规律。因此，本发明提出了一个能够动态跟随听觉视角的VR耳机系统与方法，设计实现了一个动态跟随听觉视角的虚拟现实音频双耳再现系统实时采集听者头部信息传递给上位机基于虚拟现实音频双耳再现方法进行实时VR音频的合成。经由该系统再现的声场中的声源都有着自己的绝对世界坐标，在该声场中，声源的方位保持不变，随着人头姿势的变化，听者接收到的声源方位会发生一个相对的反向转动，从而保证声源本身方位不发生改变，能够真实的再现一个客观的听觉世界。

发明内容

本发明的目的是针对已有技术的不足，提供一种动态跟踪听觉视角的虚拟现实音频双耳再现系统与方法。该系统可以营造一个客观的声场，不论听者在其中如何改变头部姿态，都能够得到一个客观一致的听觉方位感受，这样听者就可以像VR视频一样对VR音频中的声源进行全方位的聆听。

为了达到上述目的，本发明采用了下述技术方案：

1、一个动态跟随听觉视角的虚拟现实音频双耳再现系统主要由如附图1所示的5个主要模块组成，其中包括1)上位机模块，2)JY61姿态角传感器模块，3)STM32F103VET6核心处理器模块，4)HC-05无线蓝牙传输模块以及最终用于VR音频播放的5)双耳耳机模块。各模块组成的系统框架如说明书附图1所示。

其中系统各模块执行功能如下：

(1)上位机模块1负责当前姿态信息的解析，基于HRTF双耳声学技术对音频数据流进行处理得到针对当前姿态信息的VR音频数据流；

(2)JY61姿态角传感器模块2负责采集听者当前头部姿态信息的采集；

(3)STM32F103VET6核心处理器模块3负责提取JY61姿态角传感器数据中的姿态角信息以及将由上位机模块1处理好的VR音频数据流D/A转换送给双耳耳机模块5进行播放；