[发明专利]一种多媒体数据合成方法、设备及存储介质

权利要求书

1.一种多媒体数据合成方法，其特征在于，包括：

获取三维视频；

确定所述三维视频中需合成音效的目标视频帧，并确定所述目标视频帧中目标声像所处的空间位置，生成所述目标声像在所述空间位置的音效信号；

将所述音效信号与所述目标视频帧进行合成，得到合成视频帧；

基于所述合成视频帧和所述三维视频中无需合成音效的原视频帧得到新三维视频。

2.根据权利要求1所述的方法，其特征在于，所述生成所述目标声像在所述空间位置的音效信号，包括：

获取所述目标声像对应的目标音频，基于所述空间位置编码所述目标音频得到所述音效信号。

3.根据权利要求2所述的方法，其特征在于，所述基于所述空间位置编码所述目标音频得到所述音效信号，包括：

确定用于编码所述目标音频的各个编码通道；

基于所述空间位置确定所述目标音频在各个编码通道的信号；

汇总各个编码通道的信号得到所述音效信号。

4.根据权利要求3所述的方法，其特征在于，还包括：

若通过空间分布的扬声器阵列重放所述合成视频帧中的音效信号，则基于所述扬声器阵列解码所述音效信号，并利用所述扬声器阵列播放解码后的信号。

5.根据权利要求4所述的方法，其特征在于，所述基于所述扬声器阵列解码所述音效信号，包括：

基于所述扬声器阵列中的扬声器个数和所述编码通道的数量构建信号矩阵；

将所述信号矩阵的伪逆矩阵作为解码矩阵；

基于所述解码矩阵解码各个编码通道的信号。

6.根据权利要求4所述的方法，其特征在于，所述扬声器阵列中的扬声器个数不小于所述编码通道的数量，且满足H＝(N+1)²；H为所述编码通道的数量，N为编码阶数。

7.根据权利要求5所述的方法，其特征在于，所述基于所述解码矩阵解码各个编码通道的信号，包括：

按照目标公式解码各个编码通道的信号；所述目标公式为：D＝A×[A₁,A₂,…,A_H]^T，D为解码结果，A为所述解码矩阵，A₁,A₂,…,A_H表示H个编码通道的信号，H为所述编码通道的数量。

8.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频帧中目标声像所处的空间位置，包括：

以所述目标视频帧中感知所述目标声像的对象为参照物，确定所述目标声像的方位角和仰角。

9.根据权利要求4所述的方法，其特征在于，还包括：

若通过耳机重放所述合成视频帧中的音效信号，则基于空间分布的扬声器阵列解码所述音效信号，并将解码后的信号编码为左声道信号和右声道信号，利用所述耳机播放所述左声道信号和所述右声道信号。

10.一种多媒体数据合成方法，其特征在于，包括：

获取三维图像；

确定所述三维图像中需合成音效的目标物体，并确定所述目标物体在所述三维图像中所处的空间位置；

基于所述空间位置生成所述目标物体在所述空间位置的音效信号；

将所述音效信号与所述三维图像进行合成，得到三维合成图像。

11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至10任一项所述的方法。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至10任一项所述的方法。