[发明专利]音频的双耳化的操控

说明书

本公开提供一种用于操控音频的双耳化的方法。所述方法包括以下步骤：接收(410)音频输入信号，计算(430)指示所述音频输入信号的当前音频帧包括经双耳化音频的可能性的置信度值；基于所述置信度值来确定(450)状态信号；基于所述第一置信度值、所述状态信号及所述音频帧的能量值来确定(460)操控信号；及通过根据所述操控信号处理所述音频输入信号来产生(470)具有经操控双耳化的音频输出信号。

相关申请案的交叉参考

本申请案主张2019年8月19日申请的第PCT/CN2019/101291号国际专利申请案；2019年9月5日申请的第62/896,321号美国临时专利申请案；2019年12月19日申请的第19218142.8号欧洲专利申请案；及2020年1月2日申请的第62/956,424号美国临时专利申请案的优先权，所述申请案以引用的方式并入本文中。

技术领域

本公开涉及操控音频的双耳化的领域。特定来说，本公开涉及一种用于操控音频的双耳化的方法、非暂时性计算机可读媒体及系统。

背景技术

现今，将空间音频技术实施到音频内容中以提供沉浸式用户体验是常见的。最常见技术之一是双耳化。双耳化使用头部相关传递函数HRTF以产生虚拟音频场景，所述虚拟音频场景可由耳机或扬声器来再现。双耳化也可被称为虚拟化。通过双耳化方法产生的音频可被称为经双耳化音频或经虚拟化音频。

随着消费者娱乐装置，例如智能电话、平板计算机、PC等的兴起，电子游戏变得流行。在游戏使用案例中，双耳化被广泛用以向玩家提供额外信息。例如，第一人称射击游戏中的经双耳化枪声片段可提供方向信息且指示目标位置。

在游戏使用案例中，可在内容创建侧或回放侧动态地产生经双耳化音频。在内容创建侧，各种游戏引擎提供双耳化方法来对音频对象进行双耳化且将所述音频对象混合到[未经双耳化]背景声音。在回放侧，后处理技术也可产生经双耳化音频。

然而，在以上案例中的任一者中，应注意使音频双耳化避免对音频产生可能导致负面用户体验的不利影响。

发明内容

根据第一方面，提供一种操控音频的双耳化的方法。所述方法包括以下步骤：接收音频输入信号，所述音频输入信号包括多个音频帧；计算指示所述音频输入信号的当前音频帧包括经双耳化音频的可能性的置信度值；基于所述置信度值来确定状态信号，所述状态信号指示所述当前音频帧是处于未经双耳化状态还是处于经双耳化状态；确定操控信号，其中在所述状态信号从指示所述未经双耳化状态改变为指示所述经双耳化状态时：通过对所述音频输入信号应用头部相关传递函数HRTF来改变所述操控信号以激活音频的双耳化，从而导致经双耳化音频信号，及产生至少部分地包括所述经双耳化音频信号的音频输出信号；其中在所述状态信号从指示所述经双耳化状态改变为指示所述未经双耳化状态时，将双耳化的取消激活模式设置为真；及在所述双耳化的所述取消激活模式为真，且所述当前音频帧的所述置信度值低于取消激活阈值，且所述当前音频帧的能量值低于所述当前音频帧之前的所述音频输入信号的阈值数目个音频帧的能量值时：将所述双耳化的所述取消激活模式设置为假，改变所述操控信号以取消激活或减少音频的双耳化，及产生至少部分地包括所述音频输入信号的所述音频输出信号。

通过根据此方法来操控所述双耳化，避免所述音频输出信号在所述经双耳化音频输入信号与未经双耳化音频输入信号之间的频繁切换。期望避免频繁切换，因为其可能对所述音频产生不利影响且导致负面用户体验。例如，频繁切换可能令人不快且导致用户不适。

所述操控还避免双重双耳化，即，已双耳化音频的双耳化后处理，即使所述音频输入信号包括未经双耳化背景与短期经双耳化声音的混合也是如此。可期望避免双重双耳化，因为其可能对所述音频产生不利影响且导致负面用户体验。例如，当应用双耳化两次时，由游戏玩家感知到的枪声的方向可能是不正确的。