[发明专利]音频信号的生成、播放方法及装置、处理系统

说明书

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种音频信号的生成、播放方法及装置、处理系统。

背景技术

三维视频技术可以提供符合立体视觉原理的具有深度信息的画面，三维音频技术拾音时使用麦克风阵列，用波束形成等方法可获得增强后的声音以及声音的方向和距离等信息；重放时使用扬声器阵列，用波前合成等方法，可以重现具有方向感和距离感的声音。现有技术中已经有一些关于三维视频或者三维音频的实验性系统。

如图1A所示，为现有技术中原始的会场布置图对应的水平视图，共7人参加，其中，会议参加者P1位于前排，会议参加者P2位于后排。如图1B所示，为现有技术中在重现会场中的屏幕上显示的图1A会场中的场景示意图，如果重现会场中的一个会议参加者位于0点，注意到0点、P1所在位置和P2所在位置正好位于一条直线上，如果在进行声场重现时，不对重现声场的声音的距离进行处理或者处理的不好，P1和P2的声音与位置不相匹配，那么在P1或/和P2讲话时，就会干扰位于0点的会议参加者辨别是P1在讲话还是P2在讲话。另外当以三维视频的方式进行场景重现时，也会遇到类似的问题。如图2所示，为现有技术中某一会场布置俯视图，根据立体视觉的成像和显示原理，在运用三维显示技术将在会场1中的一个物体在另外一个会场2中显示时，可以根据需要让会场2中的会议参加者看起来是在显示屏21之前，如位置C所在位置，或者显示屏之后，如位置B所在位置。假定上图中的物体为会场1中的一个会议参加者，在会场1中对应的位置为A；在会场2中重现时，如果以在显示屏之前的位置，如位置C处显示，而声音是从B处发送出来的，那么这样也会影响会场2中的会议参加者与会场1中的会议参加者的沟通与交流。

在完成本发明的过程中，本发明人发现：在现有技术中，为了获得更准确的声音的方向和距离，大都采用增加部署在麦克风阵列中麦克风的个数或/和增加麦克风之间的间距。对于麦克风阵列，麦克风阵列中部署的麦克风的个数越多，麦克风之间的间距越大，声音的方向和距离判断就越准确，但麦克风阵列的体积也随之增大。而减少麦克风的个数，减小麦克风之间的间距，麦克风阵列获得声音的方向和距离的，尤其是距离的，准确性就会降低，这在重放时需考虑声音的距离的场景中，例如在允许说话人可自由移动，或会场布置为如图1A所示的多排位置的会议系统或如图1B所示的三维视频显示系统中，使得听者不能及时并准确地判断出说话人的位置，从而影响Eye to Eye交流的效果。

发明内容

本发明实施例提供一种音频信号的生成、播放方法及装置、处理系统，在不增加麦克风阵列体积的情况下，获得更准确地音频信号的位置信息，包括方向信息和距离信息。

本发明实施例提供了一种音频信号的生成方法，包括：

根据所述音频信号的方向信息获取所述音频信号在辅助视频中的坐标，判断所述辅助视频为深度图还是视差图；如果所述辅助视频为深度图，根据所述坐标直接从所述深度图中获取所述音频信号对应的深度信息；如果所述 辅助视频为视差图，根据所述坐标从所述视差图中获取所述音频信号对应的视差，根据所述视差计算得到所述音频信号对应的深度信息

根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息；

将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。

本发明实施例提供了一种音频信号的生成装置，包括：音频信号的距离信息获取模块和音频信号编码模块，音频信号的距离信息获取模块具体包括：

深度信息获取单元，用于根据所述音频信号的方向信息和所述辅助视频，获取所述音频信号的深度信息；

坐标信息获取单元，用于根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；

距离信息获取单元，用于根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息；

音频信号编码模块，将音频信号、所述音频信号的方向信息以及所述音频信号的距离信息进行编码并发送。

本发明实施例提供了一种音频信号的播放方法，包括：

将接收到的编码数据进行解码，获得音频信号和音频信号的方向信息；

根据所述音频信号的方向信息和辅助视频，获取所述音频信号的深度信息；根据所述深度信息和音频信号的方向信息，获取音频信号在显示会场中的坐标信息；根据所述音频信号的坐标信息和视点的位置信息，生成视点所处位置对应的音频信号的距离信息