[发明专利]音频编解码器扩展

说明书

一种装置，包括被配置为执行以下操作的部件：接收包括至少一个音频信号的主音轨；接收至少一个辅助音轨，该至少一个辅助音轨中的每个辅助音轨包括至少一个音频信号，其中，该至少一个辅助音轨是基于主音轨；以及使用空间音频解码来对主音轨和至少一个辅助音轨进行解码和渲染。

技术领域

本申请涉及用于音频编解码器扩展的装置和方法，但并不排他地涉及用于自动翻译的音频编解码器扩展。

背景技术

沉浸式音频编解码器正被实现，以支持范围从低比特率操作到透明的大量操作点。这种编解码器的示例是沉浸式语音和音频服务(IVAS)编解码器，其被设计为适合于在诸如3GPP 4G/5G网络之类的通信网络上使用。这种沉浸式服务包括例如在诸如虚拟现实(VR)、增强现实(AR)和混合现实(MR)之类的应用的沉浸式语音和音频中使用。该音频编解码器被预期处理语音、音乐和通用音频的编码、解码和渲染。此外还被预期支持基于通道的音频和基于场景的音频输入，包括关于声场和声源的空间信息。该编解码器还被预期以低延迟进行操作，以使能会话服务并在各种传输条件下支持高差错鲁棒性。

可以使用各种手段来实现自动语言翻译。通常，应用或服务(例如，云中的服务器)接收包括语音的音频信号，识别音频信号中的词语，评估这些词语的含义(例如，各个单词在与其他词语结合的上下文中最有可能的含义)，并创建包括对所期望语言的对应翻译的音频信号。可以给出输入语言和输出语言，或者可以识别输入语言，作为整个识别任务的一部分。自动语言翻译可以利用例如语音到文本(STT)技术和文本到语音(TTS)技术。在现代系统中，链中的至少一个任务可以通过诸如深度神经网络(DNN)之类的人工智能(AI)来执行。能够处理这种处理类型的处理器在诸如智能手机之类的现代移动设备和装置中变得越来越普遍。

发明内容

根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：接收包括至少一个音频信号的主音轨(primary track)；接收至少一个辅助音轨(secondarytrack)，该至少一个辅助音轨中的每个辅助音轨包括至少一个音频信号，其中，该至少一个辅助音轨是基于主音轨；以及使用空间音频解码来对主音轨和至少一个辅助音轨进行解码和渲染。

包括至少一个音频信号的主音轨可以包括以下中的至少一个：至少一个所捕获的麦克风音频信号；基于至少一个所捕获的麦克风音频信号的空间分析而生成的至少一个传输音频信号和空间元数据；包括至少一个音频信号和空间元数据的音频对象；基于至少一个所捕获的麦克风音频信号的空间分析的全景环绕声(Ambisonics)格式的音频信号。

包括至少一个音频信号的主音轨可以包括包括采用第一语言的至少一个语音分量。

基于主音轨的至少一个辅助音轨可以是包括采用第二语言的至少一个语音分量的至少一个音频信号。

包括至少一个音频信号的主音轨可以包括采用第一语言的至少一个语音分量，并且基于主音轨的至少一个辅助音轨可以是与至少一个音频信号的位置相关联的至少一个音频信号。

该部件可以进一步被配置为：接收与至少一个辅助音轨和/或主音轨相关联的信息参数，其中，与至少一个辅助音轨和/或主音轨相关联的信息参数可以是以下中的至少一个：主音轨参考时间；主音轨初始讲话时间；主音轨元素长度；辅助音轨相对主音轨的偏移；辅助音轨相对主音轨的延迟；以及辅助音轨元素长度。

该部件可以进一步被配置为：接收至少一个用户输入，其中，被配置为使用空间音频解码来对主音轨和至少一个辅助音轨进行解码和渲染的该部件可以进一步被配置为：基于该用户输入，对主音轨和至少一个辅助音轨进行解码和渲染，以修改至少一个辅助音轨和主音轨中的至少一个。