[发明专利]音频信号的生成、播放方法及装置、处理系统

权利要求书

1.一种音频信号的生成方法，其特征在于包括：

根据所述音频信号的方向信息获取所述音频信号在辅助视频中的坐标，判断所述辅助视频为深度图还是视差图；如果所述辅助视频为深度图，根据所述坐标直接从所述深度图中获取所述音频信号对应的深度信息；如果所述辅助视频为视差图，根据所述坐标从所述视差图中获取所述音频信号对应的视差，根据所述视差计算得到所述音频信号对应的深度信息；

根据所述深度信息和所述音频信号的方向信息，获取所述音频信号在显示会场中的坐标信息；根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息；

将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。

2.根据权利要求1所述的音频信号的生成方法，其特征在于，所述生成音频信号的距离信息之前包括：

麦克风阵列捕捉至少两路音频信号作为输入音频流；

利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及所述音频信号的方向信息；

摄像机组捕捉至少两路视频信号作为输入视频流；

根据所述输入视频流，获得主视频和所述辅助视频。

3.根据权利要求2所述的音频信号的生成方法，其特征在于，所述麦克风阵列捕捉至少两路音频信号作为输入音频流包括：

麦克风阵列捕捉至少两路音频信号作为第一输入音频流，所述各路音频 信号为多个音源的声音组成的混合音频信号；

使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流。

4.根据权利要求1或2所述的音频信号的生成方法，其特征在于还包括：

将所述辅助视频进行编码并发送。

5.根据权利要求2所述的音频信号的生成方法，其特征在于还包括：

将所述主视频和所述辅助视频进行编码并发送。

6.根据权利要求1所述的音频信号的生成方法，其特征在于，所述获取深度信息之前还包括：

根据麦克风阵列和摄像机组的位置信息将所述辅助视频和所述音频信号的方向信息换算到同一坐标系下。

7.一种音频信号的生成装置，其特征在于包括：音频信号的距离信息获取模块和音频信号编码模块，

音频信号的距离信息获取模块具体包括：

深度信息获取单元，用于根据所述音频信号的方向信息和辅助视频，获取所述音频信号的深度信息；

坐标信息获取单元，用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；

距离信息获取单元，用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息；

音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。 

8.根据权利要求7所述的音频信号的生成装置，其特征在于还包括：

麦克风阵列，用于捕捉至少两路音频信号作为输入音频流；

音频输入信号处理模块，用于利用麦克风阵列处理方法处理所述输入音频流，获得增强后的音频信号以及音频信号的方向信息，将所述音频信号以及所述音频信号的方向信息发送给所述音频信号编码模块；

视频采集模块，用于捕捉至少两路视频信号作为输入视频流；

视频输入信号处理模块，用于根据所述输入视频流，获得主视频和所述辅助视频。

9.根据权利要求8所述的音频信号的生成装置，其特征在于所述麦克风阵列具体包括：

麦克风阵列单元，用于捕捉至少两路音频信号作为第一输入音频流，所述各路音频信号为多个音源的声音组成的混合音频信号；

音频信号分离单元，用于使用音频信号分离方法分离所述第一输入音频流中的各路音频信号，分别获取每个音源的声音对应的音频信号，将每个音源的声音对应的音频信号组成输入音频流。

10.根据权利要求8所述的音频信号的生成装置，其特征在于还包括：

第一视频编码模块，与所述视频输入信号处理模块连接，用于将所述辅助视频进行编码并发送。