[发明专利]使用隐写地嵌入的音频数据的远程会议

说明书

技术领域

本发明涉及音频数据的处理，并且具体来说，涉及用于远程会议的音频数据的处理。

背景技术

远程会议一般涉及建立与由远程会议的参与者使用的三个或更多个终端装置的电信连接。为了易于解释，所述终端装置可标示为终端装置A、B及C。通常，参与者中的一者(例如终端装置A的用户)通过在另一参与者(例如终端装置B及C的用户)举行会议而起始远程会议。会议管理装置管理所述会议。所述会议管理装置也可被称作多方控制单元(MCU)或，替代地，称作混合桥。所述MCU可位于代管远程会议的服务提供商网络中。

MCU可解码在MCU处从终端装置所接收的音频数据流，且对由三个所接收的音频数据流中的两者表示音频波形求和以产生混合单声(即，单声道)音频波形。MCU可编码所述混合单声音频波形以产生混合单声道数据流，将所述混合单声道数据流发射到终端装置中的相应者。

例如，MCU可从终端装置A、B及C接收音频数据流且解码所述音频数据流。MCU基于所接收的音频数据流而产生三个混合音频数据流。第一混合音频数据流表示由终端装置A及B(即，A+B)检测到的声音的单声混合。第二混合音频数据流表示由终端装置A及C(即，A+C)检测到的声音的单声混合。第三混合音频数据流表示由终端装置B及C(即，B+C)检测到的声音的单声混合。MCU将第一混合音频数据流发射到终端装置C、将第二混合音频数据流发射到终端装置B，且将第三混合音频数据流发射到终端装置A。终端装置A、B及C解码混合音频数据流且基于所述混合音频数据流而产生声音(即，回放)。

最近，已经开发出在远程会议中支持三维(3D)音频的MCU及终端装置。在3D音频中，MCU处理从终端装置接收的音频数据流以产生混合立体声音频数据流。所述混合音频立体声数据流中的每一者可表示具有两个或更多个(例如，左及右)声道的声音。MCU可将这些混合立体声音频数据流发射到终端装置中的适当一者。所述终端装置中的每一者可在两个或更多个扬声器上回放所述混合立体声音频数据流。因为由MCU应用于立体声音频数据流的头相关传递函数(HRTF)，所以终端装置的用户可感知其它终端装置的用户的语音来自空间中的各种点。例如，终端装置A的用户可感知终端装置B的用户的语音来自空间中在终端装置A的用户的左边的点且可感知终端装置C的用户的语音来自空间中在终端装置A的用户的右边的点。以此方式在空间上分离用户的话音可帮助用户确定谁在远程会议期间说话，进而促进3D音频远程会议的参与者之间的通信。

发明内容

一般来说，本发明描述用于处理用于远程会议的音频数据的技术。多方控制单元(MCU)从参与远程会议的终端装置接收传入的音频数据流。所述传入的音频数据流中的每一者可包括由终端装置的相应一者检测到的声音的单声表示。对于终端装置中的每一者，MCU可产生包括由终端装置中的其它者检测到的声音的混合的单声表示的混合音频数据流。另外，MCU可在混合音频数据流中隐写内嵌由终端装置检测到的声音的表示。为了易于解释，由终端装置检测到的声音的表示可在本文中被称作子流。MCU将混合音频数据流输出到参与远程会议的终端装置。

如果终端装置经配置以用于立体声回放，那么终端装置执行反向隐写过程以从混合音频数据流提取嵌入的子流。终端装置基于所提取的子流及混合音频数据流而产生及输出多声道音频数据流。终端装置可基于多声道音频数据流而输出声音。如果终端装置未经配置以用于立体声回放，那么所述终端装置基于混合音频数据流而输出声音，而不提取嵌入的子流。在此意义上，通过使用隐写术嵌入子流，所述技术可实现对混合音频数据流的多声道回放及对混合音频数据流的单声回放两者。

在一个实例中，本发明描述一种方法，其包括：至少部分基于第一音频数据流及第二音频数据流而产生混合音频数据流，所述音频数据流表示与参与远程会议的第一终端装置相关联的声音，所述第二音频数据流表示与参与所述远程会议的第二终端装置相关联的声音。所述方法还包括至少部分通过将第一子流及第二子流隐写地嵌入到所述混合音频数据流中而产生经修改的混合音频数据流，以使得所述经修改的混合音频数据流支持单声道音频回放及立体声音频回放两者，所述第一子流包含与所述第一终端装置相关联的所述声音的表示，所述第二子流包含与所述第二终端装置相关联的所述声音的表示。另外，所述方法包括将所述经修改的单声道音频数据流输出到参与所述远程会议的第三终端装置。