[发明专利]一种基于双耳效应的虚拟声场实时交互系统

说明书

本发明涉及一种基于双耳效应的虚拟声场实时交互系统，包括：音频信号采集模块，用于采集多路音频信号；声场渲染模块，用于对音频信号进行声场渲染，基于双耳效应获取带重构声场信息的多路音频信号；虚拟声场交互模块，用于根据头部参数及用户方位信息实时拼接带重构声场信息的多路音频信号，在整体声场中构建实时声音效果；输出模块，用于根据个性调节参数输出实时声音效果。与现有技术相比，本发明从声音本身和声场空间感上对音频进行处理，将原声场的高度的还原与再现，且具有灵活性、互动性和用户友好性等优点。

技术领域

本发明涉及实时交互系统，尤其是涉及一种基于双耳效应的虚拟声场实时交互系统。

背景技术

人的听觉系统不仅仅只负责“听”的功能，同时还担负着整个人体的平衡功能，而对声音位置与传播方向的判断就是其中一个重要的部分。人们紧靠一只耳朵是无法辨别声源方向的，但是两只耳朵却可以。听觉定位是指人在没有视觉线索的条件下判断声源位置的能力——我们称为声音空间定位或双耳效应。人的双耳对称分布在头的两侧，且耳廓和人的头部对声音起到了有效的遮掩作用，且当声源的直达声与反射声送入人耳的时间和频率强度分布产生差异时，同一声源送到双耳会有明显的时间差和强度差，这个现象导致我们可以清晰、准确地判断出声源的位置——即“双耳效应”。在当前飞速发展领域，如VR、AR、MR的虚拟世界构成中，“双耳效应”也起到重大的指导意义和现实作用。

然而在现有的相关系统中，以“双耳效应”为理论基础的系统，大多呈现方式以只可供用户感受学习的教具为主，表现形式单一，可供用户操作和互动学习的功能不强。

究其原因，主要有二大技术瓶颈：

(1)声场信息提取以及重构技术难点：对声场信息的提取与重构若仅对空间感进行处理，会造成声音的层次感和方位感不清晰，整体混响过大等缺陷，同时若只注重提取的声音本身，又缺乏空间感，同时存在噪声等问题。

(2)实时声场交互技术难点：在这虚拟的场景中，用户可以像在真实世界里一样和周围的环境交互。

我们已知的视频交互技术中，当用户佩带着头戴式显示器，手持控制器移动并环顾四周时，头戴式显示器和手持控制器内置的陀螺仪和运动传感器将捕获到用户的头部、手部的方位信息，这些信息将被传入头戴式显示器的高速处理器中进行处理，在内置的高清屏幕上显示出相应的立体化图像。然而，若想要获得身临其境般的沉浸式体验，仅仅构建出仿真的视觉场景是不够的，其他感官体验，尤其是听觉，对沉浸式体验有着同样重要的影响。

授权公告号为CN106255031B的发明专利公开了一种虚拟声场产生装置，该装置包括：

音源输入装置，用于从外部接收媒体声音；

定位系统，用于定位空间内用户人脸的位置和扬声器阵列的位置，并计算和校准所述空间的声学模型；

声场控制器，用于基于所述空间的声学模型和特定的声场模式控制所述媒体声音；

声场输出装置，用于与所述扬声器阵列连接，将经所述声场控制器控制的媒体声音输出到所述扬声器阵列。

该发明公开的虚拟声场产生装置，能够产生自动跟随空间内用户位置的多种虚拟声场，由用户选择使用。并且用户无需佩戴耳机等头戴式设备而被声场自动跟随，实现了自由跟听。

该发明专利存在以下缺点：1、对声场信息的提取与重构仅对空间感进行了处理；2、只能跟随用户的位置交互输出对应的声场，声场交互还不够，不能让用户达到沉浸式的体验。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双耳效应的虚拟声场实时交互系统。

本发明的目的可以通过以下技术方案来实现：

一种基于双耳效应的虚拟声场实时交互系统，包括：