[发明专利]一种多媒体数据合成方法、设备及存储介质

说明书

本申请公开了一种多媒体数据合成方法、设备及存储介质，本申请提供的多媒体数据合成方法包括：获取三维视频；针对三维视频中需合成音效的视频帧，确定该视频帧包括的声像所处的空间位置，生成空间位置的音效信号，并将音效信号与该视频帧进行合成，得到合成视频帧；基于合成视频帧和三维视频中无需合成音效的原视频帧得到新三维视频。该方案最终得到的合成视频帧中的音效信号有空间方位感，且与该帧视频在时间上保持同步。相应地，本申请提供的多媒体数据合成设备及存储介质，也同样具有上述技术效果。

技术领域

本申请涉及计算机技术领域，特别涉及一种多媒体数据合成方法、设备及存储介质。

背景技术

目前，虚拟场景下的三维视频仅着眼于模拟真实的三维场景，没有考虑视频中声音的真实性、声音与画面的协调同步性等特征，导致三维视频中声画不同步、声音的空间方位感欠佳。

发明内容

有鉴于此，本申请的目的在于提供一种多媒体数据合成方法、设备及存储介质，以使三维视频中的声音具备空间方位感，且声画保持同步。其具体方案如下：

为实现上述目的，一方面，本申请提供了一种多媒体数据合成方法，包括：

获取三维视频；

确定所述三维视频中需合成音效的目标视频帧，并确定所述目标视频帧中目标声像所处的空间位置，生成所述目标声像在所述空间位置的音效信号；

将所述音效信号与所述目标视频帧进行合成，得到合成视频帧；

基于所述合成视频帧和所述三维视频中无需合成音效的原视频帧得到新三维视频。

可选地，所述生成所述目标声像在所述空间位置的音效信号，包括：

获取所述目标声像对应的目标音频，基于所述空间位置编码所述目标音频得到所述音效信号。

可选地，所述基于所述空间位置编码所述目标音频得到所述音效信号，包括：

确定用于编码所述目标音频的各个编码通道；

基于所述空间位置确定所述目标音频在各个编码通道的信号；

汇总各个编码通道的信号得到所述音效信号。

可选地，还包括：

若通过空间分布的扬声器阵列重放所述合成视频帧中的音效信号，则基于所述扬声器阵列解码所述音效信号，并利用所述扬声器阵列播放解码后的信号。

可选地，所述基于所述扬声器阵列解码所述音效信号，包括：

基于所述扬声器阵列中的扬声器个数和所述编码通道的数量构建信号矩阵；

将所述信号矩阵的伪逆矩阵作为解码矩阵；

基于所述解码矩阵解码各个编码通道的信号。

可选地，所述扬声器阵列中的扬声器个数不小于所述编码通道的数量，且满足H＝(N+1)²；H为所述编码通道的数量，N为编码阶数。

可选地，所述基于所述解码矩阵解码各个编码通道的信号，包括：

按照目标公式解码各个编码通道的信号；所述目标公式为：D＝A×[A₁,A₂,…,A_H]^T，D为解码结果，A为所述解码矩阵，A₁,A₂,…,A_H表示H个编码通道的信号，H为所述编码通道的数量。

可选地，所述确定所述目标视频帧中目标声像所处的空间位置，包括：