[发明专利]语音声源空间音效三维逼真生成系统

说明书

本发明以三维视频中语音声源在重构三维声场中获得的主观听觉感受与在重构3D视频场景中获得的主观视觉感受一致为目标，在已知声源空间信息、声源信号及重构环境条件下，基于影响人耳距离感知因子，构建考虑空气衰减的人工三维混响模型，对声源信号进行修正和控制，对其增加声源距离信息，然后得到在听音位置去除房间混响的逆滤波来去除扬声器播放的信号在混响环境中传播的影响，保证扬声器输入信号与听音者接收到信号的一致性，完成声源的距离恢复；对扬声器组信号进行增益因子分配，完成声源方向的恢复，进而完成对声源三维空间方位信息的恢复。本发明能够较好的实现对语音声源三维空间信息的逼真恢复。

技术领域

本发明涉及一种声源空间音效三维生成系统，特别涉及一种语音声源空间音效三维逼真生成系统，属于空间音效三维生成技术领域。

背景技术

3D电影在票房上取得的巨大成功使影视界进入3D多媒体时代，近年来，3D电影的产量也越来越多，一些国际经典影片也陆续被拍成3D电影，以不一样的视觉效果展现在观众眼前。3D视频技术成熟的发展，使观众在视觉上的三维立体感受非常明显，已能为观众提供较好的视觉临场体验，并且市面上也出现了大量支持3D视觉效果的设备。但作为3D视频的伴音系统目前市场上销售的产品仍然是沿用立体声或者环绕声技术，无法为观众提供视觉和听觉上的一致性感受。因此，基于3D视频对象的三维音频生成技术成为多媒体技术领域的研发突破热点和应用的重要方向。

数字音频技术从产生到现在，依据音频信号的声像特点，音频技术经历了单声道、双声道立体声系统及多声道系统等阶段，信号中所包含的声像信息也由空间中固定的单点逐步扩展三维立体空间中的任意一点，使听音者能够在整个三维空间中感受到声像位置随时间的变化。三维音频定义为：在重构声场中以人所在听音区域中心点O为顶点，即人头部中心听音位置称为听音位置，构造三维坐标系XYZ，根据虚拟声像在空间中的移动自由度来定义声像性质，如果虚拟声像固定在某一个点，则称该声像为0D音频，如果声像在两个扬声器之间的弧线上移动，则称该声像为1D音频，如果声像在扬声器所围的球面上移动时，则称为2D音频，如果声像在以听音者头部为球心的整个三维空间移动时，则称为三维音频。

根据三维音频的定义，相较于传统立体声系统或者环绕声系统，三维音频技术能够为听音者提供更好的空间方位感和沉浸感，目前3D视频的伴音系统显然不能表达出完整的3D视听感受，这不仅为三维音频技术的发展创造了前所未有机遇，也使其成为了音视频技术领域的重要发展方向，并且使基于3D视频的三维音频技术研发成为音频领域的热门研发内容。

音频技术自产生到发展至今的一百多年时间，从播放设备、存储方式、音频内容以及应用范围等各个方面都经过了革命性变化。根据音频信号对声像位置的特征描述，信号中所包含的声场信息由单点逐步扩展三维空间层面。三维音频对虚拟声像的描述包括了方向信息(水平角度想x，高度角度y)和距离信息z，而传统的立体声和环绕声所重构的声像仅仅具备水平方向和高度上的自由度，不符合三维音频定义，导致3D多媒体系统在重构时存在音视频感受不一致的问题，无法为观众提供真正听觉上的沉浸感和包围感，难以有身临其境的感觉。现有技术对于三维音频技术的绝大多数研究都专注于声源方向的恢复，少数对于距离恢复的研究也只是集中在自由声场中，但在自由声场中，依靠强度线索只能提供声源的相对距离，不能为听音者提供准确的声源绝对距离信息；其次，在混响环境中对于距离感知的研究也仅局限于通过麦克风阵列在重构声场中听音位置进行采集然后分析得到声源距离与影响其因素间的关系，迄今为止并没有构建一个通用的还原声源距离模型，能够根据所要恢复的声源距离去控制扬声器播放的信号。因此，如何通过控制扬声器的信号获取到与原始声源一致的虚拟声像定位参数和距离参数，构建与3D视频中目标对象声源空间信息一致的虚拟声像成为亟待解决的问题。本发明研发主要对三维音频模块，直接在已知3D视频场景中目标声源信号及其在重构声场中的空间方位信息来进行3D语音空间音效生成。